Aus einer ostpreußischen Familie stammend, studiert Hans von der Groeben Rechtswissenschaften und Volkswirtschaft in Berlin, Bonn und Göttingen. 1930 legt er das Referendarexamen ab, 1933 das Assessorexamen. Ins Reichsministerium für Ernährung und Landwirtschaft eingetreten, wird er Leiter der Kreditabteilung. Während des Weltkrieges dient in der Wehrmacht, zuletzt als Oberleutnant der Reserve. 1945 tritt er in das niedersächsische Finanzministerium ein; anschließend wird er mit der Leitung der Unterabteilung für Fragen des Schuman-Plans im Bundeswirtschaftsministerium betraut. Ab 1952 vertritt er die Bundesregierung im Koordinierungsausschuss des Ministerrates der Europäischen Gemeinschaft für Kohle und Stahl. 1953 zum Ministerialdirigenten befördert, nimmt er nach der Konferenz von Messina (Juni 1955) als zweiter Mann der deutschen Delegation an den zwischenstaatlichen Verhandlungen zur Ausarbeitung der Vertragstexte der Europäischen Wirtschaftsgemeinschaft und Euratom im Schloss Val-Duchesse teil. Er gehört der Redaktionsgruppe zur Ausarbeitung des ‚Spaak Berichtes’, der den Außenministern in der Konferenz von Venedig (05/1956) zur Verabschiedung vorgelegt wird, an. Ab Januar 1958 ist er Mitglied der Europäischen Kommission verantwortlich für die Wettbewerbspolitik (auf ihn geht eine großer Teil der Anti-Trust Regelungen und die Einführung der Mehrwertsteuer zurück). Ab 1967 übernimmt er auch den Bereich Regionalpolitik. Er verlässt die Kommission 1970 und wird Berater für europäische Fragen bei der CDU. 1967 erhält er die Ehrendoktorschaft der Universität Frankfurt a.