Hormis deux brefs intermèdes - en 1858, date de la création d'un éphémère ministère de l’Algérie et des Colonies, et du 14 novembre 1881 au 9 août 1882, période pendant laquelle la direction des Colonies est rattachée au ministère du Commerce - la gestion des Colonies relève du ministre de la Marine. Toutefois, au fur et à mesure de l'expansion coloniale, sous la Troisième République, l'administration des Colonies se développe, se structure et tend à se séparer de la Marine. L'inspection des colonies est créée en 1887, le conseil supérieur des colonies en 1883, l'Ecole coloniale en 1889. L'administration des Colonies crée son corps des administrateurs des colonies, son corps de santé, et jusqu'à son propre chiffre. Fin 1887, l'Annam et le Tonkin sont rattachés à cette administration centrale, qui au départ s'occupait essentiellement de l'Afrique. Joseph Reinach propose la création d'un ministère de plein exercice à la Chambre des députés. La loi est votée le 20 mars 1894. Le ministère des Colonies comprend le cabinet du ministre, auquel sont souvent rattachées les archives, et trois grandes directions : personnel, affaires administratives et commerciales ; comptabilité et services pénitentiaires ; affaires militaires. Plusieurs types d'organisation furent tentés au cours des années : soit en séparant les affaires politiques et les affaires économiques, soit en répartissant les colonies par situation géographique. Les lois de finances de 1908 et 1920 consacrent l'existence de quatre directions civiles : Affaires politiques ; Affaires économiques ; Personnel et comptabilité ; direction du Contrôle (inspection des colonies, mais aussi affaires budgétaires et générales). S'y ajoutent une direction militaire et plusieurs inspections générales : Travaux publics, Service de santé colonial, Marine marchande, Agriculture coloniale. La loi du 31 juillet 1920 donne à l’administration centrale du ministère une organisation qu’elle conserve sans changement jusqu'à sa disparition en 1960.En 1910, le ministère des Colonies s'installe dans les anciens bâtiments des Frères de la Doctrine chrétienne, rue Oudinot. Le ralliement à partir de 1940 d'une partie des colonies à la France libre crée une scission dans l'administration (gouvernement de Vichy d'un côté, comité national français à Londres de 1941 à 1943 puis comité français de la Libération nationale à Alger de 1943 à 1944, de l'autre côté). Au lendemain de la Libération le ministère reçoit l'appellation de France d'Outre-mer. Quatre des anciennes colonies (Guadeloupe, Martinique, Guyane et Réunion), transformées en départements français, cessent de relever de la rue Oudinot . Le dernier changement a lieu en 1959 : le ministère prend la dénomination de ministère du Sahara et des Départements et Territoires d'Outre-mer. Il est confié du 13 février 1959 au 5 février 1960 à Jacques Soustelle et reprend en charge les départements d'Algérie. Enfin, les indépendances en 1960 des anciennes colonies africaines bouleversent l'organisation de ce ministère. En fait, l'année 1960 voit de fait la suppression du ministère de la France d'outre-mer et de l'ancienne administration des colonies.