Le couvent a été fondé par le cardinal Jean de Comminges. Son testament établit sa volonté de créer un couvent proche de l’église métropolitaine de Saint-Étienne pour accueillir deux cents religieuses vivant suivant la règle de saint Augustin et un corps de douze prêtres afin d’assurer le service divin. À son décès en 1348, c’est probablement la difficulté de trouver un emplacement à proximité de Saint-Étienne qui conduisit ses exécuteurs testamentaires à installer le couvent entre les actuelles rues de la Pomme et Baour Lormian. De même, malgré l’importance des dotations du cardinal et l’ambition de ses vues, il semble que le couvent ne comptât guère plus de trente religieuses et la communauté de chanoines ne fut jamais instituée.

Le couvent a du cependant connaître une période faste lorsqu’en 1655 l’assemblée des chanoinesses décida qu’une partie d’entre elles irait fonder un établissement à Verdun-sur-Garonne. Celui-ci exista jusqu’en 1755, date à laquelle il fut réuni à la maison mère de Toulouse afin de la revitaliser. En 1754 il ne restait effectivement à Toulouse que neuf sœurs de chœurs et deux sœurs converses, toutes d’un âge avancées.

La communauté déclina rapidement après le décret du 13 février 1790 interdisant les vœux monastiques et supprimant les ordres et congrégations régulières. Les bâtiments ont quant à eux été démantelés durant la Révolution et ont complètement disparu aujourd’hui.

Le couvent est administré par une abbesse élue pour trois ans rééligible une seule fois sans interruption. Les chanoinesses de Saint-Pantaléon ont essaimé notamment à Verdun-sur-Garonne.