La Confraria de Pagesos de Santa Llúcia, documentada ja el 1327, és l'entitat més antiga de la ciutat. El 1603 es va separar del gremi dels Ferrers, amb el que formaven una confraria, i incorporaren Sant Isidre com a advocació i al seu nom. El 1702 va comprar la casa del raval de Robuster 34, construïda a començaments del segle XVI fora muralla i d'esquena al mar. 

En caure la casa el 2002, es va tornar a construir en el mateix solar. El nou edifici, que ha augmentat en dues plantes, s'ha equipat amb una sala d'art i un auditori i es va inaugurar l'abril de l'any 2007, després de quatre anys d'obres. La capella de Santa Llúcia té una imatge de pedra policromada del segle XVI, i als seus peus un escut on es representa Sant Isidre llaurant.

Actualment, formen part d'aquesta entitat un esbart, una associació fotogràfica, una coral i diversos grups de teatre.