Eremitorul Magdalenei ocupă muntele cu același nume, care se ridică deasupra Castellonului. Eremitorul și-are originea în secolul XIII, după cucerirea creștină din 1233. Prima referință documentară la o procesiune de penitență care a ajuns la eremitorul Castell Vell datează din 1375, când orașul suferea de o epidemie de ciumă neagră. Din acel eremitor primitiv nu s-a păstrat nimic, nici măcar amintirea locației sale exacte.

Construcția eremitorului actual a început în 1451, lucrare a unui călugăr din Mănăstirea Santes Creus cunoscut popular sub numele de frare barbut, cu adevăratul nume Antoni. A profitat de o veche cisternă de proporții mari săpată în stâncă și a ridicat o clădire structurată în două nave paralele separate de arcade rudimentare, acoperită cu boltă în țeavă. Porticul de intrare, cu arc de jumătate de punct din dovele regulate, a fost adăugat în 1455, iar capela a fost construită în 1456. Între acea dată și 1590 s-au succedat diverse lucrări de reformă și extindere: altarul principal a fost dotat cu un retabl din lemn și se reconstruiră grajdurile pentru serviciul pelerinilor. Forma definitivă pe care o prezintă astăzi ansamblul — eremitorul-ospătărie cu turn atașat care funcționează ca clopotniță — a fost stabilită în 1758 de Vicente Pellicer.

Ca destinație a rugăciunilor și pelerinajelor în Evul Mediu și în perioade ulterioare, eremitorul dispunea de bucătării, sufragerie, cisterne și ospătărie, pe care Consell Municipal — proprietarul casei și eremitorului Santa Magdalena — le reconstruia și reforma periodic. Lângă eremitor se găsesc resturile castelului, din care se păstrează un tronson de zid și doi pereți de calicanto. Juan Bautista Balbás, în cartea sa Libro de la Provincia de Castellón din 1892, a documentat descoperirea în straturile inferioare ale Castell Vell a bazamentelor de coloane, monede și morminte romane; săpăturile ulterioare au scos la lumină țigla folosită în înhumări și fragmente de ceramică sigillată.

Ansamblul a fost declarat Bun de Interes Cultural în 1996.