Monumento Histórico Artístico (BOE 30-III-1981). Es el núcleo embrión de la villa, no sólo porque en él se ubicaron las poblaciones de la Edad Antigua, sino porque sus restos constructivos reflejan los momentos históricos del pueblo, así como también el carácter singular que proporciona al propio pueblo.
De época romana resta el aljibe. De origen musulmán, el "hisn" se estableció en la plataforma superior del monte, estaba constituido por una torre con su aljibe en la base, muros de mampostería y construcciones de tapial. En este momento su función era de control de las vías de comunicación del valle y refugio de los habitantes de las alquerías de alrededor. Era junto con el de Alpuente el castillo más relevante. Tras la conquista sufre reformas importantes en los siglos XIV (guerras con Castilla), XV y XVI (a esta época pertenecería la fortificación atalaya del "Frailecico" que desde el otro lado controlaba el territorio al S.O.), sobre todo por su utilización como residencia señorial y más tarde como cárcel de eclesiásticos. En el siglo XIX cumple unos servicios importantes a la causa carlista, sirviendo en tres ocasiones de fuerte a las tropas del pretendiente, siendo precisamente el asedio del ejército gubernamental el que de una forma definitiva iniciaría el proceso de ruina de la fortaleza.
Consta de antemuralla, torre barbacana, un bastión circular, dependencia abovedada, torres esquineras, y el recinto señorial con torre y restos de la residencia y dependencias auxiliares. También contaba con una ermita dedicada a San Miguel. En su interior se cuenta con cuatro aljibes. En diversos lugares se ven unos grabados similares a los del Castillo de Denia.