Notaréis un contraste del exterior del edificio, donde se pueden contemplar las diferentes partes de un castillo medieval (torre del homenaje, foso, matacán, almenas, aspilleras…) y del interior, donde se puede apreciar un elegante patio de armas, una colección de piezas históricas de época romana y de estilo clásico (s.XVII).

Los tres reyes de Mallorca residieron durante cortos periodos de tiempo: Jaime II, Sancho I y Jaime III. A finales del s. XIV lo habitaron Juan I de Aragón y Violante de Bar, con su corte; residieron una temporada huyendo de la peste que asolaba Barcelona.

También se produjeron ejecuciones públicas y castigos aplicados por el Santo Tribunal de la Inquisición. Durante el siglo XVIII se convirtió en prisión militar. Entre 1802 y 1808 estuvo preso en una de las habitaciones del primer piso Gaspar Melchor de Jovellanos, ministro de Hacienda y de Gracia y Justicia bajo el reinado de Carlos IV. El castillo fue también prisión de numerosos soldados y oficiales franceses vencidos en la Batalla de Bailén.

En 1817 fue fusilado el general Lacy, cabecilla de una fallida revolución liberal. En 1821 el castillo fue temporalmente convertido en fábrica de moneda y en el siglo XX convertida en una cárcel franquista durante la guerra civil.