Après des études de droit, lettres et musicologie à Paris, (doctorat sous la direction de Vladimir Jankélévitch), et à l’École Nationale Supérieure des Bibliothèques, Jean-Michel Nectoux est nommé conservateur à la Bibliothèque de Versailles, puis à la Bibliothèque nationale de France (département de la Musique).
Il rejoint le Musée d'Orsay à sa fondation en 1985 comme conservateur responsable des activités musicales : concerts et expositions interdisciplinaires.
En 1997, il devient adjoint au directeur de la musique à Radio France. Il y produit en 2000 une intégrale en concerts de l’œuvre de Debussy. Bientôt nommé conseiller scientifique au nouvel Institut national d’histoire de l’art à Paris, il étudie les relations entre arts visuels, musique et arts du spectacle. En 2009, il rejoint l’Institut de recherches sur le patrimoine musical en France (CNRS). Il a fondé en 1980 la collection de livres sur la musique Harmoniques, chez Flammarion (25 volumes, dont la Correspondance complète de Mozart).
Après avoir consacré sa recherche à Gabriel Fauré (quatre ouvrages et direction des Œuvres complètes du musicien), il travaille actuellement sur les relations entre la musique et les arts à l’époque symboliste, publiant dans ce domaine : « Nijinski : Prélude à l’Après-midi d’un Faune » puis « “Un clair regard dans les ténèbres” : Mallarmé, peinture, musique poésie » (A. Biro) et plus récemment : « “Nocturne en bleu et or” : Debussy, la musique et les arts » (Fayard).
Sous l’égide du musée d’Orsay, il a très largement participé au commissariat de l’exposition « Debussy, la musique et les arts », présentée au musée de l’Orangerie à Paris (février-juin 2012), exposition qui rejoindra pour l’été le Bridgestone museum à Tokyo.