L'INSERM est créé en 1964 par Raymond Marcellin, le ministre de la Santé, sur les conseils de son conseiller Georges Mathé et de la Délégation générale à la recherche scientifique et technique. Le décret 64-627 est promulgué le 18 juillet 1964. Le nouvel institut est une émanation de l'Institut national d'hygiène (INH), créé en 1941, sous le gouvernement de Vichy et des seize centres de recherche impulsés par l'Association Claude-Bernard.

L'INSERM, seul organisme public de recherche français entièrement dédié à la santé humaine, s’est vu confier, en 2008, la responsabilité d’assurer la coordination stratégique, scientifique et opérationnelle de la recherche biomédicale.

Cette mission de coordination a conduit à la création de 10 instituts thématiques associés à l'INSERM, début 2008.

80 % des 289 unités de recherche sont implantées au sein des centres hospitalo-universitaires, ou des centres de lutte contre le cancer.

La coordination nationale se trouve renforcée par la création, en avril 2009, de l’Alliance nationale pour les sciences de la vie et de la santé, dont l’INSERM est signataire aux côtés d’autres organismes et instituts de recherche et de la conférence des présidents d’université.