Datado en el siglo XVI, las Caballerizas del Duque es un sencillo edificio de planta rectangular de muros de mampostería de piedra, con una fachada carente de decoración a excepción del arco de medio punto que sirve como entrada y cuatro pequeños ventanales, al interior destaca su cubierta de bóveda de medio cañón corrido, construida con ladrillos toscos macizos. Uno de sus lados menores se adosa al exterior de la muralla urbana, próximo a la trasera de la torre que defendía la Puerta del arco de Belén, que cuenta por este lado con un vano por el que se accede al interior hueco de esta torre.
A lo largo de la historia ha sido usada como cuartel de la guardia real, casa de comedias durante el siglo XVIII y reñidero de gallos. Fue comprando por Juan Ortega Olmo a su anterior propietario, la casa ducal de Medina Sidonia que lo tenía en propiedad en el siglo XIX. En 1938 es comprado por el ayuntamiento, que lo rehabilita en 1994 como salón de actos y exposiciones.
