Замок Вілафамес розташований на найвищій частині міста в районі Ла Плана Альта. Арабського походження (Бені-Хамез), він був завойований Яйме I у 1233 році і будувався у XII–XIV століттях, з перебудовою у XIX столітті. Комплекс внесений до Переліку об'єктів культурної спадщини.

Серед найвизначніших архітектурних елементів — центральна башта круглої форми, побудована під час Карлистських воєн, яка свідчить про послідовні втручання, що трансформували фортецю протягом століть.

У невеликій скельній улоговині на вершині замку — відомій як l'Abric del Castell — знаходяться наскельні малюнки схематичного стилю, які становлять один з найважливіших комплексів такого типу у Валенсійській спільноті. З 1998 року вони входять до складу наскельного мистецтва Середземноморської дуги Піренейського півострова, яке ЮНЕСКО визнала Світовою спадщиною.

З фортечі відкриваються панорамні види на місто та навколишні гори. Значна частина периметра міцних стін, які захищали комплекс, збереглася, що дозволяє все ще сприймати первісний масштаб fortificації.