La del Mayorazgo es una de las torres del recinto amurallado que se encuentra situada en su parte sur. Su nombre se debe a su ubicación en la Casa del Mayorazgo. La torre forma esquina sobresaliendo de la línea de la muralla de Vejer.
En su planta baja es una dependencia abovedada con saeteras, y de ella por una escalerilla de piedra se sube al adarve y de allí al cielo o techo almenado. Posee, sobre dos almenas, una espadaña, respondiendo a la capilla que a la casa del Mayorazgo contigua poseía.
Esta Casa del Mayorazgo de estilo barroco, data del siglo XVIII y ocupa toda la superficie comprendida en esta esquina de la fortaleza. Su interior con dos patios está alterado por las obras realizadas. Su fachada es de piedra tallada. Desde el adarve se divisa perfectamente la Plaza de España (llamada Plaza de los pescaitos).
Al ser actualmente una casa en la que viven varias familias de vecinos, se puede visitar en horas prudentes para no molestarles, y siempre pidiendo permiso. No cobran entrada, aunque se puede dejar una propina en el buzón instalado en el patio principal, para contribuir con el mantenimiento de los patios y de la Torre.