El Castillo de Vejer fue declarado Monumento Nacional en 1931.
En el centro geométrico del recinto amurallado está el Castillo, y en la cota más alta del monte sobre la que se asentaba la fortaleza. Construido por los árabes en el siglo XI.
El castillo de Vejer fue propiedad de los Duques de Medina Sidonia hasta finales del S. XIX, en que por herencia pasó al Marqués de Martorell, que lo vendió a D. Pedro Muñoz de Arenillas, que al convertirlo en vivienda particular lo transformó. Hoy es prácticamente irreconocible, aunque está casi intacto, conservando salas abovedadas.
Según la clasificación tipológica de C. Guitart es catalogado como “castillo estratégico menor”. Su construcción rectangular de 74 por 22 metros, con torres rectangulares en los ángulos y centro sin cámara alta. Posee una cola comunicación al exterior.
Consta de dos partes: el Castillo vivienda con 530 metros cuadrados de superficie y el patio de armas con 544 metros cuadrados, desde cuyas almenas se observan unas vistas realmente sorprendentes.
Si la primera está muy modificada por las obras realizadas en adaptación de vivienda, la segunda se conserva completamente íntegra.
El patio de armas está hoy destinado a varios menesteres pero su adarve está conservado así como las fortificaciones de las esquinas y sus muros. Posee una sola entrada con arco de herradura.