La Torre Vella va ser ordenada edificar l’any 1530 per l’arquebisbe de Tarragona Pere de Cardona, per tal de protegir aquest punt de la costa de les incursions pirates. La torre ha estat modificada en la seva part interior, mentre que l’exterior presenta bàsicament, el seu aspecte original amb l’escut heràldic de Pere de Cardona, damunt la portalada. L’edificació annexa data, en la seva major part,  del segle XVIII. El 'pont' que uneix ambdues construccions, és del segle XX.  

Actualment la Torre Vella és un centre cultural dedicat principalment a exposicions d’art. Acull també el Museu de l’Esmalt Contemporani, el qual disposa d’un fons d’esmalts del segle XX, d’autors d’arreu del món.