La ermita de la Magdalena ocupa el monte del mismo nombre, que se alza sobre Castellón. El ermitorio tiene su origen en el siglo XIII, tras la conquista cristiana de 1233. La primera referencia documental a una procesión de penitencia que llegó hasta la ermita del Castell Vell data de 1375, cuando la ciudad padecía una epidemia de peste negra. De aquella primitiva ermita no se ha conservado nada, ni siquiera el recuerdo de su ubicación exacta.

La construcción de la ermita actual comenzó en 1451, obra de un fraile del Monasterio de Santes Creus conocido popularmente como el frare barbut, de nombre real Antoni. Aprovechó una antigua cisterna de grandes proporciones excavada en la roca y levantó un edificio estructurado en dos naves paralelas separadas por arcos rudimentarios, cubierto con bóveda de cañón. El pórtico de entrada, con arco de medio punto de dovelas regulares, se añadió en 1455, y la capilla se construyó en 1456. Entre esa fecha y 1590 se sucedieron diversas obras de reforma y ampliación: se dotó el altar mayor de un retablo de madera y se reedificaron las caballerizas para el servicio de los peregrinos. La forma definitiva que presenta hoy el conjunto —ermita-hospedería con torre adosada que actúa de campanario— fue establecida en 1758 por Vicente Pellicer.

Como meta de rogativas y peregrinaciones durante la Edad Media y en épocas posteriores, el ermitorio disponía de cocinas, comedor, cisternas y hospedería, que el Consell Municipal —propietario de la casa y ermita de Santa Magdalena— reconstruía y reformaba periódicamente. Junto a la ermita se encuentran los restos del castillo, del que se conservan un tramo de muralla y dos muros de calicanto. Juan Bautista Balbás, en su Libro de la Provincia de Castellón de 1892, documentó el hallazgo en los estratos inferiores del Castell Vell de basamentos de columnas, monedas y sepulcros romanos; excavaciones posteriores sacaron a la luz tégulas empleadas en enterramientos y fragmentos de cerámica sigillata.

El conjunto fue declarado Bien de Interés Cultural en 1996.