Le collège de Papillon est fondé par un testament établit en 1532 par Pierre de Papillon. Il fonde une collégiale de sept prêtres qui devront, pour quatre d’entre eux, être originaires du diocèse de Bourges et pour les trois autres être français. Il lègue à ces collegiats, outre l’ensemble de ses biens, sa maison dite des « Trois espases » où il les installe. Cette ancienne auberge était située Entre la rue du Peyrou [actuelle rue Emile Cartailhac] et l’impasse des Trois-Renard. Malgré l’appellation de collège, ils n’ont aucune vocation à étudier. Pierre de Papillon leur impose comme règle une vie communautaire et des messes obituaires dites à la mémoire du fondateur. Rassemblés depuis les années 1530, le collège n’adopte de statuts écrits qu’en 1584.

Les collégiats vivent des revenus laissés par Pierre de Papillon mais aussi sur des participations de chacun d’eux. Ce système finit par trouver ses limites et en 1671 ils négocient leur entrée dans le chapitre de Saint-Sernin. Participant aux obits et processions du chapitre, ils en tirent également des portions de revenus.

Le collège continuera d’exister jusqu’à la Révolution.

Le collège est composé de sept prêtres qui élisent chaque année un prieur parmi eux afin de gérer les affaires courantes de l’institution. Chaque fin d’année il est tenu de rendre compte de sa gestion devant les autres collégiats.