De novembre 1946 à mars 1952, il est Conseiller général du Sénégal.
De novembre 1947 à mars 1952, il est Président de la Commission permanente du Conseil général du Sénégal.
De janvier à avril 1959, il est Ministre de l’Éducation nationale.
D'avril 1959 à mai 1961, il est Ministre délégué à la Présidence du Conseil, chargé du Plan, du Développement et de l’Économie générale dans le gouvernement du Président du Conseil Mamadou Dia.
De mai 1961 à octobre 1962, il est Ministre du Plan et de la Coopération technique.
D'octobre à novembre 1962, il est Ministre de l’Assistance technique et de la Coopération.
Du 12 novembre au 19 décembre 1962, il occupe les fonctions de Ministre du Travail, de la Fonction publique et des Affaires sociales.
Du 19 décembre 1962 au 18 mars 1965, il est Ministre de l’Economie rurale.
Du 18 mars 1965 au 6 juin 1968, il est Ministre des Forces armées.
Du 6 juin 1968 au 15 juin 1972, il occupe les fonctions de Ministre des Affaires étrangères. Il conserve son poste en février 1970 dans le gouvernement de Abdou Diouf. Il a pour directeur de cabinet Babacar Ba.
Du juin 1972 au novembre 1975, il est Président du Conseil économique et social.
Il appartient au Corps des Vétérinaires-Inspecteurs des Services de l’élevage et des Industries animales de la France d’Outre-Mer.
Il est Vétérinaire-Inspecteur général honoraire et membre correspondant de l’Académie vétérinaire de France.
De décembre 1980 à mai 1984, Il présidera le conseil d'administration de la Banque internationale pour l'Afrique occidentale (BIAO).
En novembre 1975 , Il accède au poste de secrétaire général de l'Organisation de la conférence islamique (OCI) avec résidence à Djeddah. Il remplace à ce poste l'Égyptien Hassan Touhami. En janvier 1980, le Tunisien Habib Chatti lui succède.
Le Dr Amadou Karim Gaye est titulaire de plusieurs décorations nationales et étrangères.
Il fut aussi premier président de la Fédération sénégalaise des sports équestres, le Général Jean Alfred Diallo en était le second président.
Il est le père du Général Babacar Gaye, de l'artiste-peintre Anta Germaine Gaye et grand-père du réalisateur Thibault de Longeville.