Die Ermita de la Magdalena befindet sich auf dem gleichnamigen Berg, der sich über Castellón erhebt. Das Eremitorium stammt aus dem 13. Jahrhundert, nach der christlichen Eroberung von 1233. Die erste urkundliche Erwähnung einer Bußprozession zur Ermita del Castell Vell stammt aus dem Jahr 1375, als die Stadt von einer Pestepidemie heimgesucht wurde. Von der ursprünglichen Ermita ist nichts erhalten geblieben, nicht einmal die Erinnerung an ihren genauen Standort.

Der Bau der heutigen Ermita begann 1451 unter der Leitung eines Mönches des Klosters Santes Creus, im Volk als der frare barbut bekannt, dessen eigentlicher Name Antoni war. Er nutzte eine alte, großflächig in den Fels gehauene Zisterne und errichtete ein Gebäude mit zwei parallelen Schiffen, die durch primitive Bögen getrennt sind, mit Tonnengewölbedeckung. Das Eingangsportal mit Rundbogen aus regelmäßigen Keilsteinen wurde 1455 hinzugefügt, und die Kapelle wurde 1456 erbaut. Zwischen diesem Zeitpunkt und 1590 folgten verschiedene Umbau- und Erweiterungsarbeiten: Der Hochaltar wurde mit einem hölzernen Retabel ausgestattet und die Stallungen für die Pilger wurden wiederaufgebaut. Die endgültige Form des heutigen Komplexes – Ermita-Herberge mit angebautem Turm, der als Glockenturm dient – wurde 1758 von Vicente Pellicer festgelegt.

Als Ziel von Bittgängen und Wallfahrten im Mittelalter und in späteren Zeiten verfügte das Eremitorium über Küchen, Speisesaal, Zisternen und Herberge, die der Consell Municipal – Eigentümer des Hauses und der Ermita de Santa Magdalena – regelmäßig wiederaufbaute und reformierte. Neben der Ermita befinden sich die Überreste des Schlosses, von dem ein Mauerabschnitt und zwei Kalksteinmauern erhalten sind. Juan Bautista Balbás dokumentierte in seinem Buch von 1892 über die Provinz Castellón den Fund von Säulenfundamenten, Münzen und römischen Gräbern in den unteren Schichten des Castell Vell; spätere Ausgrabungen brachten Dachziegel, die in Bestattungen verwendet wurden, und Fragmente von Terra Sigillata zutage.

Das Ensemble wurde 1996 zum Kulturgut von Interesse erklärt.