L'ermitage de la Magdalena occupe le mont du même nom, qui s'élève au-dessus de Castellón. L'ermitoire a son origine au XIIIe siècle, après la conquête chrétienne de 1233. La première référence documentaire à une procession de pénitence qui a atteint l'ermitage du Castell Vell date de 1375, lorsque la ville souffrait d'une épidémie de peste noire. Rien n'a été conservé de ce primitif ermitage, pas même le souvenir de son emplacement exact.

La construction de l'ermitage actuel a commencé en 1451, œuvre d'un frère du Monastère de Santes Creus connu populairement comme le frare barbut, dont le vrai nom était Antoni. Il a utilisé une ancienne citerne de grandes proportions excavée dans la roche et a construit un bâtiment structuré en deux nefs parallèles séparées par des arcs rudimentaires, couvert d'une voûte en berceau. Le porche d'entrée, avec arc en plein cintre de claveaux réguliers, a été ajouté en 1455, et la chapelle a été construite en 1456. Entre cette date et 1590, il y a eu diverses réformes et extensions : l'autel principal a été doté d'un retable en bois et les écuries ont été reconstruites pour le service des pèlerins. La forme définitive que présente aujourd'hui l'ensemble —ermitage-hospice avec tour adossée qui sert de campanile— a été établie en 1758 par Vicente Pellicer.

Comme lieu de rogations et de pèlerinages au Moyen Âge et dans les périodes ultérieures, l'ermitoire disposait de cuisines, de réfectoire, de citernes et d'hospice, que le Consell Municipal —propriétaire de la maison et de l'ermitage de Santa Magdalena— reconstruisait et rénovait périodiquement. À côté de l'ermitage se trouvent les restes du château, dont subsistent une section de muraille et deux murs de calcaire. Juan Bautista Balbás, dans son Libro de la Provincia de Castellón de 1892, a documenté la découverte dans les couches inférieures du Castell Vell de bases de colonnes, de monnaies et de sépultures romains ; des fouilles ultérieures ont mis au jour des tuiles utilisées dans les inhumations et des fragments de céramique sigillée.

L'ensemble a été déclaré Bien d'Intérêt Culturel en 1996.