El Castillo de San Sebastián es una de las joyas mejor guardadas de la ciudad de Cádiz.
Durante muchos años este Castillo, situado al borde del paseo que recorre el espigón de la Playa de la Caleta, ha estado cerrado al público por diferentes motivos. Durante los últimos dos años se han realizado trabajos de reparación y rehabilitación de sus principales espacios y paseos que lo han convertido en la actualidad en un lugar imprescindible para su visita tanto para ciudadanos como para turistas.
Protegía el frente norte de la ciudad está situado en uno de los extremos de la playa de la Caleta, sobre una pequeña isla donde según la tradición estuvo el templo de Kronos.
Desde la época musulmana existía una torre-atalaya en ese lugar. En el siglo XV, una nave veneciana apestada se refugió en el islote, levantándose una ermita bajo la advocación de San Sebastián, incluso se labraron las armas de la ciudad de Venecia en el lugar en reconocimiento a la hospitalidad gaditana.
Tras el saqueo inglés de finales del siglo XVI, se dedicó el lugar a castillo, reconstruyéndose la torre en 1613 bajo la dirección de Juan de la Fuente Hurtado.
En 1706, se inician las obras del castillo, de planta irregular con nueve lados, con parapetos, cañoneras, dos fosos de agua y puentes levadizos. En 1739, controlaba con su artillería la entrada de la Caleta y el canalizo sur de la Bahía. En 1860, se dotó de baterías acasamatadas.
Se encuentra unido a tierra con un malecón, lo que permite que no se encuentre aislado en la pleamar.
Sobre la base de la torre atalaya musulmana se levanta en 1908 el actual faro, segundo eléctrico de España, a 41 metros sobre el nivel del mar.