Ce palais fut construit sur un ancien château médiéval qui se trouvait dans la municipalité. La légende de la plaque située sur un des angles raconte que ce château fut prit par le premier marquis de Dílar aux arabes le 24 octobre 1491. Au XIXe siècle il avait déjà un aspect et une structure presque en ruines. Cependant, un siècle plus tard, un des issus des marquis de Dílar reconstruisit et répara la partie principale.