Hay diversas interpretaciones con respecto al término "hito", que en la mayoría de los casos hacen referencia a piedra hincada, menhir, miliario...

El cronista de la Orden, Frey Alonso Torres y Tapias, indica que ya existía en 1235. A finales del siglo XIV el maestre Yáñez de la Barbuda fue aconsejado por Yago, ermitaño de la Virgen, para que emprendiera una cruzada con el fin de recuperar Granada de manos infieles.

Barrantes Maldonado, apunta que a finales del siglo XIV se reformó la antigua ermita por otra "de nueva cantería pues la anterior era de mampuesto. Esta obra finalizó el 15 de abril de 1402". Las costas de la reconstrucción fueron sufragadas por el Concejo de Alcántara, devotos de la Virgen y los bienes de la ermita.

Tras las guerras con Portugal la ermita fue destruida al explotar un polvorín instalado en ella. no se vuelven a tener noticias hasta 1768, año en que se reedificó en el mismo enclave.

En el exterior la obra es sencilla, está construida en mampostería de pizarra con sillares graníticos en las esquinas. Da acceso a su puerta principal un pórtico con arco de medio punto y tejado a dos aguas, que alberga una hornacina con una imagen en alabastro de la Virgen.

En la planta del tempo, en forma de cruz latina, presenta una sola nave con tres tramos de bóveda de cañón con lunetos, y crucero con cúpula sobre pechinas a la que se suma una estancia como camarín, cubierto igual que el sotocorro, con bóveda de arista. El retablo es de traza neogótica presidiéndola la Patrona, imagen de candelero del siglo XIX y fue donado en 1936 por Doña Javiera Vicario de Sande y Don Nicolás Rodríguez-Arias Carbajo, fabricándose en Zafra.

El patronazgo de Nuestra Señora de los Hitos siempre lo ostentó el concejo de Alcántara, que nombraba mayordomo todos los años. Éste mayordomo administraba sus rentas y daba cuentas al término de su mandato.