Castell de Vilafamés розташується на найвищій частині міста в районі La Plana Alta. Походить з арабських часів (Beni-Hamez), був завойований Яйме I у 1233 році і збудований у XII–XIV століттях, переробленний у XIX столітті. Комплекс внесений до списку об'єктів культурної спадщини.

Серед найзначніших архітектурних елементів виділяється центральна башта круглої форми, збудована під час Карлістських войн, яка свідчить про послідовні втручання, що трансформували фортецю протягом століть.

У невеликій скельній западині на вершині замку — відомій як l'Abric del Castell — розташовані наскельні розписи схематичного стилю, які становлять один із найбільш значущих комплексів цього типу в Валенсійській спільноті. З 1998 року входять до складу наскельного мистецтва Середземноморської дуги Піренейського півострова, визнаного ЮНЕСКО об'єктом Світової спадщини.

З периметра замку відкривається панорамний вид на місто та навколишні гори. Велика частина периметру мурів, які захищали комплекс, збереглася, що дозволяє уявити первісний масштаб фортифікації.