Le château de Vilafamés se trouve sur la partie la plus élevée de la ville, dans la région de la Plana Alta. D'origine arabe (Beni-Hamez), il a été conquis en 1233 et construit entre le XIIe et le XIVe siècle, puis remanié au XIXe siècle. Il offre une vue panoramique sur le village et les montagnes environnantes. Des peintures rupestres se trouvent dans une petite concavité rocheuse au sommet du château.