La Compagnie de Jésus fut fondée en 1540 par Ignace de Loyola, avec pour principale mission l’évangélisation et l’éducation, à travers la création de collèges. Toulouse est une des premières villes françaises à accueillir un collège jésuite. Par un édit de juillet 1551, Henri II avait supprimé huit petits collèges pour en fonder deux grands de plein exercice. Le collège de l’Esquile est maintenu comme le premier des deux collèges en 1561. Cette même année, les jésuites, qui avaient d’abord érigé un collège à Pamiers, en sont chassés par les protestants. Ils se réfugient alors à Toulouse, où ils se montrent leurs fervents adversaires, lors du sanglant conflit de mai 1562. En guise de remerciement, le parlement de Toulouse demande au roi l’autorisation de leur confier l’autre collège. La décision est renvoyée à l’archevêque de Toulouse, Georges d’Armagnac, qui en 1563 leur offre les locaux et revenus du couvent des Augustines, fermé après leur reconversion au protestantisme. Les débuts sont difficiles : la peste, l’exiguïté et l’éloignement du lieu empêchent la bonne tenue des cours. Le provincial Edmond Auger réclame ainsi un lieu plus convenable. Pierre Delpech, Jean de Gamoy et Pierre Madron, anciens capitouls, décident d’acheter à Jean de Clary l’Hôtel de Bernuy, pour y installer le nouveau collège des jésuites, officiellement reconnu comme tel le 16 septembre 1566.

Ancienne demeure du marchand de pastel à qui il doit son nom, l’Hôtel de Bernuy est situé au cœur de la ville, près du couvent des Jacobins et non loin du Capitole. Très vite, les jésuites doivent agrandir leur espace pour satisfaire à l’afflux croissant d’élèves. L’extension se fait d’abord rue des Cordières vieilles, aujourd’hui absorbée par le collège de Pierre de Fermat. En 1590, au croisement de cette rue et de la rue Malbec, la Compagnie occupe le premier séminaire de la ville, dont elle s’est vue confier la charge par son fondateur, le cardinal François de Joyeuse. Les jésuites parviennent à acheter la propriété et la transforment en pensionnat en 1602. Des élèves étrangers viennent ainsi étudier chez eux, ce qui n’est pas sans attiser la jalousie de l’Esquile. En 1593, la Compagnie de Jésus déménage son noviciat, qui existait depuis 1571 dans les locaux du collège, au point de rencontre des rues Larrey et des Blanchers, à la Capelle Redonde. Par la suite, elle acquiert nombre de maisons le long de la rue de Peyrolières, destinées soit au logement de leurs élèves, professeurs ou personnel soit à la location. L’intérieur de l’Hôtel de Bernuy est lui-même réaménagé, afin d’y ouvrir de grandes salles de classe et une bibliothèque. Par lettres patentes du 26 octobre 1619, Louis XIII autorise les jésuites à ouvrir des maisons professes. Le syndic de la Compagnie acquiert alors tout un îlot de maisons autour de la rue Malcousinat [rue de la Bourse] et de la rue Secourieu [rue des Marchands]. Enfin, en 1684, le séminaire diocésain, nouvellement fondé, est rattaché à la Compagnie. D’abord installé rue des Coffres, il est déplacé rue Valade.

Toutes ces acquisitions ont pu se faire grâce à des sources de revenus variées. Outre les nombreuses donations de particuliers, les jésuites bénéficient d’une pension annuelle de 1200 livres, versée par la ville à partir de 1573 et régulièrement objet de dissensions. Ils obtiennent par ailleurs les prébendes préceptorales des chapitres de Saint-Étienne (1567) et de Saint-Sernin (1568). L’union de prieurés permet également des entrées d’argent conséquentes : Saint-Amans de Tréban (1581), permuté ensuite avec Sainte-Foy de Peyrolières (1603) ; Castelnau-d’Estrétefonds (1582) ; Notre-Dame du Bourg de Rabastens (1583) ; Madiran (1623) ; Saint-André-de-Majencoules (1659) ; Saint-Marcel de Puyvert (1672). Le noviciat se voit également rattacher les prieurés de Saint-Etienne de Tersan (1626), Meyruels, Concorès, La Ramière (1666) et Notre-Dame de Pinel.

Pendant plus de deux siècles, le collège jésuite de Toulouse, premier de la province, a connu un important rayonnement, tant par sa réputation que par sa situation géographique. Dans ses années les plus fastes, il a ainsi accueilli jusqu’à 1200 élèves. L’université a souhaité tirer avantage du prestige entourant le collège : par un acte du 5 février 1576, elle lui propose de s’agréger à elle et lui accorde deux places de professeur de philosophie et de théologie. Une offre d’abord déclinée par les jésuites. Ceux-ci ne pouvaient pas graduer leurs écoliers, qui préfèrent aller directement suivre les cours au collège de l’Esquile. En 1621, ils rediscutent donc leur incorporation en vain. Soixante ans plus tard, Louis XIV entérine lui-même l’union à perpétuité du collège à l’université. En 1689, il confie également aux jésuites la chaire de mathématique, puis en 1710 la seconde chaire de professeur des arts. Cette présence grandissante des jésuites crée des tensions récurrentes.

En dépit de leur succès comme enseignants et de leur aide dans la lutte antiprotestante, une certaine méfiance persiste envers les jésuites. D’une manière générale, leur allégeance au pape, leur trop grande rigueur morale et leurs richesses sont mal perçues par une partie de la population. Sur le plan local, nombreux sont les contentieux, que ce soit avec l’Esquile, l’université, d’autres ordres religieux, les capitouls ou des particuliers. Au XVIIIe siècle, les membres du parlement, partisans du gallicanisme, se montrent à leur tour de plus en plus hostiles aux jésuites. Entre 1761 et 1763, à Toulouse comme ailleurs, et malgré le soutien de Louis XV, un déluge d’arrêts est prononcé contre eux. Les jésuites sont expulsés, toutes leurs maisons vidées et fermées, leurs biens séquestrés. En novembre 1764, le roi finit par dissoudre l’ordre tout entier. Le collège devient collège royal. Il portera par la suite différents noms avant de prendre celui de Pierre de Fermat en 1957.

Le collège sert à l'instruction de la jeunesse. Le noviciat prépare les novices à la vie religieuse. Le séminaire forme les jeunes gens se destinant à la prêtrise. La maison professe accueille les prêtres jésuites ayant prononcé les quatre vœux et qui exercent leur ministère spirituel et pastoral gratuitement.

Ordonnance du 27 novembre 1562 du cardinal de Toulouse, qui offre le couvent des Augustines pour l’érection d’un collège tenu par la Société du nom de Jésus.

Arrêts du parlement de Toulouse prononcés entre 1761 et 1763, qui entérinent progressivement la suppression de la Compagnie à Toulouse.

La Compagnie de Jésus est organisée selon les Constitutions préparées par Ignace de Loyola. A Rome, le supérieur ou père général, dispose d’une autorité absolue. Il nomme à la tête de chaque province des provinciaux, dont dépendent les jésuites. Il supervise tout ce qui se passe dans les maisons dépendant de sa province et n’intervient de manière directe qu’en cas de problème grave. Le supérieur général nomme également les recteurs des collèges, noviciats et séminaires, ainsi que les préposés aux maisons professes. Ceux-ci ont tous les devoirs d’un chef d’établissement. Ils sont assistés d’un certain nombre d’administrateurs, ainsi que d’un syndic chargé de défendre leurs intérêts. Le pensionnat est dirigé par un principal, qui représente le recteur du collège auprès des étudiants. Il a également un syndic placé sous la tutelle du syndic du collège.

Uni en 1681.

Remplace le collège en 1763.