El Palacio lo mandó construir un ilustre cortesano, Ortuño Ibáñez de Aguirre junto a su mujer María de Esquivel y Arratia. Llegó a ser sede episcopal. Unido a este edificio se encuentra el Antiguo Depósito de Aguas al que se accede por un subterráneo y que es un espacio singular utilizado como sala de exposiciones y eventos.