Reeds in 1829 had de Luikse bisschop Cornelius Richard van Bommel (links) (1790-1852) van koning Willem I toestemming gekregen om in zijn diocees een Klein Seminarie op te richten. In 831 werd de opleiding tot priester van het bisdom Luik in Rolduc bij Kerkrade in Nederlands Limburg gevestigd en ging in 1836, nadat alle voorbereidingen afgerond waren, volledig van start. Als Koning Willem I (rechts) (1772-1843) in 1839 het onafhankelijkheidsverdrag met België
ondertekent, betekent dit ook het vertrek van het seminarie uit Rolduc. Tijdens de paasvakantie van 1843 verhuist het Kleinseminarie definitief naar de gebouwen van de voormalige benedictijnenabdij in Sint-Truiden. De officiële opening van het Kleinseminarie vond plaats op dinsdag 2 mei 1843, waar het Frans lange tijd de dominante taal was. De bisschoppelijke normaalschool (een Belgische benaming voor pedagogische academie), die vanaf het begin ook in Rolduc gevestigd was, verhuisde mee naar Sint-Truiden en zou er blijven tot ze in 1920 verplaatst werd naar Mechelen-aan-de-Maas (Maasmechelen).
Jos (19 jaar) vertrekt dinsdag 3 oktober 1893 naar het Kleinseminarie in Sint-Truiden. Hij volgt daar zijn priesteropleiding en wordt in augustus 1898 tot professor benoemd. In de Limburger koerier van dinsdag 28 maart 1899 lezen we: “de eerwaarde heer J. Leunissen, professor aan het seminarie in Sint-Truiden, die met het aanstaande Paasfeest te Luik de H. Priesterwijding zal ontvangen, zal den 5den april in de parochiekerk zijner geboorteplaats Oirsbeek zijn eerste H. Mis opdragen. Reeds worden toebereidselen gemaakt om de heuglijke gebeurtenis op passende wijze te vieren”.
In de loop van de 19de eeuw wordt het Kleinseminarie een Vlaams bastion. Een belangrijke stimulans voor het Vlaams Bastion binnen de muren is het letterkundig genootschap Utile Dulci, de naam is een verwijzing naar de bekende spreuk van de dichter Horatius die vertaald kan worden als ‘het nuttige met het aangename’, gesticht door de jonge filosofieprofessor Louis B. Rubens (1820-1899). Jos is een van de langst zittende voorzitters van deze vereniging.
Het doel van Utile Dulci (1845 – 1940) was het bevorderen en verspreiden van een betere kennis van de Vlaamse taal in eigen kring, het Kleinseminarie en daarbuiten. Voor de Franse taal was in 1846 een soortgelijk genootschap opgericht, de Société literaire, ook wel Académie Française genoemd. Dinsdag 17 augustus 1847 trad het genootschap voor het eerst officieel naar buiten, ter gelegenheid van de plechtige prijsuitdeling, met een gedicht over de overplaatsing van het Kleinseminarie van Kerkrade naar Sint-Truiden. Door ‘verfransing van het middelbaar onderwijs’ werd het Nederlands langzaam verdrongen. De lessen werden hoofdzakelijk in het Frans gegeven en ook daarbuiten was het Frans de voertaal.
Na 1850 waren het meestal leraren Nederlands die voorzitter van Utile Dulci werden. Achtereenvolgens waren dit Johannes L. Peeters (1850-1860), Peter Vanschillebeecks (1862-1870), Gerardus Leën (1870-1874), Paulus Kerkhofs (1874-1876), Ludovicus Schoolmeesters (1876-1883), L. Vleugels (1883-1886), Josephus Erkens (1886-1890), Franciscus Pennings (1890-1897) en Joannes Caspar Leunissen (1897-1910).
Na de Tweede Wereldoorlog stierf Utile Dulci een stille dood.