Josep Xifré fue un rico indiano que había hecho fortuna en América y al volver invirtió su riqueza en un elegante edificio de viviendas. La construcción estuvo a cargo de Francesc Vila y Josep Boixareu, a los que encargó un edificio para él y sus familiares, en un terreno cercano a las murallas romanas, el mejor sitio de la ciudad en aquel momento. Es así como nacen los famosos “Porxos d’en Xifré” el nombre popular que le viene dado por la estructura soportal que rodea la planta baja de los cinco cuerpos que forman el edificio.

En una de esas viviendas residió la familia Ruiz Picasso cuando llegó a Barcelona en 1895. Se dice que Pablo Picasso subía a menudo a la terraza del edificio desde donde pintaba algunos de sus paisajes urbanos.
La planta baja fue destinada a comercios y allí se ubicó un gran café de lujo. El local disponía de siete puertas por lo que terminó llamándolo “Les 7 Portes”.

El edificio aparte de su belleza, tiene el prestigio de ser el primer edificio español en ser fotografiado por la técnica primitiva del daguerrotipo, se cree que no se conserva ninguna copia de él, por internet circula una foto que dicen que es copia del original, pero es falsa.