L’origine légale du Conservatoire remonte à la loi du 22 mai 1902, concernant la création d’un tel établissement à Luxembourg. Ce n’est qu’en 1906 que l’institut fut créé, suite à une donation d’une généreuse mécène, Madame Eugénie DUTREUX-PESCATORE. Le bâtiment se situait aux 14-16 rue du St Esprit et suffisait amplement aux quelques 300 à 400 élèves.
Les débuts étaient assez modestes et les cours ne s’étendaient qu’aux matières courantes; le niveau d’études était très appréciable, comme en témoigne la professionnalisation de bon nombre de lauréats qui ont rejoint les pupitres de l’Orchestre RTL et de la Musique Militaire Grand-Ducale.
A partir de 1967, les inscriptions connurent un accroissement vertigineux et les problèmes se multiplièrent pour faire face à la demande. A la fin des années 70, l’institut fonctionnait via différentes annexes, éparpillées dans la Ville.
Le projet de construction d’un nouveau bâtiment s’imposa très vite grâce à l’assiduité du directeur Monsieur Josy HAMER qui sut convaincre les responsables communaux de la nécessité d’une telle initiative. La pose de la première pierre eut lieu le 19 juin 1981. C’est en 1984 que l’actuel conservatoire situé rue Charles Martel fut inauguré. Cette date marque une nouvelle impulsion dans l’évolution du Conservatoire qui devient un institut d’enseignement à caractère national, voir international.