Né à Soueich en 1878, il grandit en partie à Aspet, commune à laquelle il consacre beaucoup de recherches et de publications historiques. Il entre au petit séminaire de Gourdan-Poligan vers 1890 puis au petit et grand séminaire de Toulouse. Il devient docteur en théologie en 1901 avec un thèse intitulée "Théologie dogmatique, nature de l'Inspiration des Livres Saints". Ordonné en 1903, il devient vicaire de Revel (1905) puis de l'église Saint-Jérôme de Toulouse (1906-1922). Durant la 1ère guerre mondiale, il est d'abord réformé puis envoyé à Dijon comme infirmier. Il est nommé curé de Labarthe-de-Rivière (1922-1925) avant de partir à Aucamville où il restera jusqu'à sa retraite en 1966. Décédé le 30 août 1967, il est enterré dans le caveau familial à Aspet.

L'abbé Ousset laisse une bibliographie très étoffée. De 1922 à 1939, il codirige avec les chanoines Contrasty et Lestrade La Revue historique de Toulouse. Il collabore à la Revue du Comminges ainsi qu'aux Annales du Midi. Des monographies historiques sont également publiées : La confrérie des Pénitents bleus, La chapelle des pénitents bleus, Vicissitudes de la baronnie d'Aspet, Notre-Dame de Miegecoste à Aspet.

Il laisse, à sa mort, de nombreux manuscrits dont certains font l'objet d'articles posthumes dans la Revue du Comminges. Des copies dactylographiées sont conservées aux Archives de Toulouse et d'Aspet ainsi qu'à l'Archevêché

Ces archives ont été conservées par la nièce de l'abbé Ousset, qui a classé les notes historiques en fonction des lieux qu'elles concernaient : A 001 à 018 pour Aspet, Au pour Aucamville etc…Elle les a ensuite données à la Société des Etudes du Comminges dont l'abbé Ousset était membre.