Depuis 1310, un hospice géré par l'abbaye de saint Ruf qui accueillait les pauvres se trouvait à l'extérieur des remparts, au delà de la place des Corps Saints. Un cimetière, dans le ressort paroissial  de saint Didier, étant devenu le « rendez-vous commun des débauchés de la populace » comme l'écrit Paul Achard, l'évêque d'Avignon Jourdain de Coïardan, pour y mettre fin fit bâtir une chapelle dédiée à saint Michel Archange, avec l'accord du Chapitre de Notre-Dame des Doms et celui du prieur de saint Didier.

Un chapelain perpétuel y disait la messe tous les jours.

​

Pierre de Luxembourg ayant souhaité, par humilité, être inhumé au milieu des pauvres, une réputation de miracles par son intercession se répandit et des Célestins s’établirent ici en 1393. La première pierre de leur couvent fut posée au nom de Charles VI et l’église fut consacrée en 1406.

​

Un monastère de Visitandines de saint Georges fut établi en 1578 par le cardinal d’Armagnac dans l’ancien hôpital des Lombards datant du XIIIème siècle.

​

La chapelle saint Michel à donné son vocable à celle de Tous les Saints qui était contiguë..

​