L'ermitage de la Magdalena occupe la montagne du même nom, qui s'élève au-dessus de Castellón. L'ermitorio a son origine au XIIIe siècle, après la conquête chrétienne de 1233. La première référence documentaire à une procession de pénitence qui est arrivée jusqu'à l'ermitage du Castell Vell date de 1375, lorsque la ville souffrait d'une épidémie de peste noire. De ce primitif ermitage, rien ne s'est conservé, pas même le souvenir de son emplacement exact.

La construction de l'ermitage actuel a commencé en 1451, œuvre d'un frère du Monastère de Santes Creus connu populairement comme le frare barbut, de vrai nom Antoni. Il a profité d'une ancienne citerne de grandes proportions creusée dans le roc et a élevé un bâtiment structuré en deux nefs parallèles séparées par des arcs rudimentaires, couvert d'une voûte en berceau. Le portique d'entrée, avec arc en plein cintre de voussoirs réguliers, a été ajouté en 1455, et la chapelle a été construite en 1456. Entre cette date et 1590, diverses réformes et agrandissements se sont succédé : on a doté le maître-autel d'un retable en bois et on a reconstruit les écuries pour le service des pèlerins. La forme définitive que présente aujourd'hui l'ensemble —ermitage-hospice avec tour attenante qui fait office de campanile— a été établie en 1758 par Vicente Pellicer.

Comme destination de rogations et de pèlerinages au Moyen Âge et dans les périodes ultérieures, l'ermitorio disposait de cuisines, salle à manger, citernes et hospice, que le Consell Municipal —propriétaire de la maison et ermitage de Santa Magdalena— reconstruit et réformait régulièrement. À côté de l'ermitage se trouvent les vestiges du château, dont on conserve un tronçon de muraille et deux murs en moellons. Juan Bautista Balbás, dans son Libro de la Provincia de Castellón de 1892, a documenté la découverte dans les strates inférieures du Castell Vell de bases de colonnes, de pièces de monnaie et de sépultures romains ; des fouilles ultérieures ont mis au jour des tegulae utilisées dans des inhumations et des fragments de céramique sigillée.

L'ensemble a été déclaré Bien d'Intérêt Culturel en 1996.