El castillo se sitúa en lo más alto de la localidad. Inicialmente fue una fortificación musulmana, aunque el edificio actual responde al palacio fortificado que probablemente levantaran los Luna en el siglo XIII. Debió de tener una iglesia adosada de la que no se conservan restos. El castillo tiene planta próxima a un rectángulo de 40 × 25 m. Es probable que contara con torreones en las esquinas y otro en el centro del lado noroeste. En el siglo XVIII estaba muy completo, con cocheras, bodegas, cárcel y oratorio con un retablo dedicado San Jorge. La sala de “Los Linajes” estaba adornada con los retratos de los condes de Aranda, y la de “Costumbres” con estatuas y relieves. La tradición popular habla de un túnel subterráneo que llega desde el castillo hasta la fuente de “El Menestrel”, en el camino de Alpartir.