El Palau de l'Abadia és el resultat d'una llarga successió de construccions i reformes que comencen al segle XIV quan l'abat Pere de Soler dóna forma a les dependències del Monestir ja existents, on ell mateix residia. Serà un altre abat, Arnau de Vilalba, qui al segle XV ennoblirà el casal amb elements d'estil gòtic i la construcció del petit claustre que comunica les diferents parts del Palau. Els capitells d'aquest claustre tenen gravat l'escut de l'abat, que també es troba al primer pis en el dentell d'una porta.

El 1933 es presenta un gran projecte de restauració, de l'arquitecte Josep Riera, però la Guerra Civil l'estronca. La restauració es reprèn als anys 80 i, de manera més important durant els anys 2009 – 2010.

Actualment, el Palau de l'Abadia totalment rehabilitat acull l'Oficina de Turisme, el Centre d'Interpretació del Mite del Comte Arnau que forma part del projecte Terra de Comtes i Abats, l'Espai Art l'Abadia, l'exposició permanent de maquetes Romànic, una volta pel Ripollès i un conjunt de sales polivalents on s'hi estableix una àmplia programació cultural, com conferències, presentacions i exposicions diverses, n'és un exemple la sala Abat Arnau de Vilalba.