Castelul Vilafamés se ridică în partea cea mai înaltă a orașului, în regiunea La Plana Alta. De origine arabă (Beni-Hamez), a fost cucerit de Iacob I în 1233 și construit între secolele XII și XIV, fiind remodalizat în secolul XIX. Complexul este declarat Bun de Interes Cultural.

Printre elementele arhitectonice cele mai notabile se numără un turn central cu plantă circulară construit în timpul Guerrelor Carliste, mărturie a intervențiilor succesive care au transformat fortificația de-a lungul secolelor.

Într-o mică concavitate stâncoasă pe vârful castelului — cunoscută sub numele l'Abric del Castell — se găsesc picturi rupestre de stil schematic care constituie unul dintre cele mai relevante seturi de acest tip din Comunitatea Valencia. Din 1998 fac parte din ansamblul Arte Rupestre al Arcului Mediteranean al Peninsulei Iberice, declarat Patrimoniu Mondial de UNESCO.

Din incintă se obțin vederi panoramice ale orașului și ale munților înconjurători. O mare parte din perimetrul zidurilor care apărau complexul se conservă în picioare, ceea ce permite încă percepia scării originale a fortificației.