Este palacio es del siglo XII, y todo lo que podemos ver hoy, y que se conserva perfectamente, pertenece a la reforma hecha por Berenguer de Aguilar en el siglo XV, tales como las preciosas vigas policromadas de los techos, el escudo de armas de la familia Caldés (primeros propietarios del palacio), el acceso al despacho situada al principio de la escalera de acceso a la planta noble y la imagen de San Cristóbal (por cierto, una de las tantas cosas que fueron cambiando de sitio a lo largo de los años).

En la terraza, tiene una inmensa solana, desde donde el propietario del palacio podía ver el mar y el puerto y controlar de esta manera la llegada de los barcos mercantes.