És un antic casal senyorial del segle XVI, molt transformat al segle XVIII, i restaurat encara als anys 1913-14, declarat bé cultural d'interès nacional. 

La casa pertanyia originàriament als Caramany i al segle XVIII als Andreu. Posteriorment rebé les denominacions de casa Foixà i casa Pérez Xifra. El 1913-14 fou molt restaurada per l'arquitecte Rafael Masó. 

És un edifici de notable complexitat pel que fa a l'espai, molt adequat a les necessitats dels Caramany, una família noble de pagès sobrevinguda a la ciutat. Posteriorment va passar a mans de la famíli Andreu.

L'any 1781, Maria Francesca Andreu es va casar amb Ignasi de Foixà i finalment el palau va ser adquirit per Josep Maria Pérez Xifra, doctor en farmàcia i senador, que juntament amb la seva esposa Pilar Perxes el va restaurar.