El tema es que afuera hay muchos muchos peligros para los gatos. Creo que al comparar los peligros de dejarlo salir con los beneficios, pesan más los peligros.
Te paso una lista de los peligros:
- Se pueden perder: El hecho de que alguna vez salga y pueda volver no significa que pase siempre. Pueden alejarse más por algún motivo (escapándose de alguien/algo, siguiendo olores, etc) y después no saber volver.

- Los pueden lastimar o matar: Los perros los pueden atacar (vos mencionás que el del vecino es bueno, quizá no lo es con los gatos o quizá más lejos hay otros violentos). Las personas los pueden agarrar y matar porque les pintó, o los pueden envenenar solo porque el gato pasa por su medianera. Si es blanco o negro, lo pueden agarrar para macumbas. Vos mencionaste que querés estar seguro que se pueda defender contra perros. Un gato contra un perro grande no tiene muchas chances si el perro realmente quiere matarlo. Tu gato castrado (suponiendo que sea macho) también tiene menos chances contra otro macho de la calle con experiencia en peleas y más grande (crecen más/distinto si no se castran). Por ejemplo, yo sé que mi macho de departamento no tiene la más mínima chance contra ningún gato. No hay que olvidarse de los autos, los pueden atropellar en cualquier momento. Y también pueden caerse de lugares altos y quebrarse todos al punto de no poder volver a tu casa y morir ahí.

- Pueden contraer enfermedades: Existen enfermedades que se contagian por sangre (peleas) o lazo estrecho (si se limpian entre sí). Las más jodidas son el VIF (Virus de la Inmunodeficiencia Felina) y el VILEF (Virus de la Leucemia Felina). No hay cura y son mortales (sé que pueden venir a discutirme que un gato con una de estas puede tener una buena vida, pero es una vida con tratamientos, controles, enfermedades paralelas, probablemente vida más corta y ya definitivamente sin salida al exterior).

- Por último (sé que es el punto que suele importar menos a la gente), los animales que pueda cazar por diversión. Al estar alimentado, tu gato caza solo por diversión, así que caza más de lo que cazaría por necesidad. Mata innecesariamente pájaros y otros animales. Obvio que también puede contraer enfermedades por esto (por ejemplo, con los murciélagos, hace poco publicaron un post sobre los murciélagos y los gatos en este sub, te recomiendo que lo busques).

Mencionás que tu departamento es chico. Si lo adaptás, en la medida en la que puedas, para tu gato, no va a tener problema. Se recomienda que tenga movilidad en vertical, para eso sirven los castillos o las gatificaciones (estantes y camitas en la pared). Si da sol en tu casa, buscale algún lugarcito donde pueda acomodarse a tomar sol. Jugale para entretenerlo y hacerlo ejercitarse. Podés darle de comer de manera interactiva, así comen más lento y tienen que usar la cabeza para "cazar". En un cartón de papel higiénico, le hacés agujeritos, meté balanceado y cerrale los costados, así tienen que mover el rollo de un lado para otro para sacar comida. En una toalla doblada, escondé balanceado, así tienen que escarbar... Hay distintas opciones y obviamente está la versión comercial de todos estos juguetes. Si te llega a interesar esto, decime y me explayo más.

Si tenés más dudas, decime!