Cuenta la tradición, la más antigua, la oral, que aquí, en esta ermita que se proyecta sobre Grazalema, un pastor observó que durante la noche ardían luminarias. Llevado por la curiosidad se acercó a ellas, hallando entre las piedras la imagen pequeña de la Virgen.
Aquel extraordinario hallazgo motivó la construcción (1889) de la ermita por parte de los grazalemeños en el conocido como paseo del mediodía.