Claus-Dieter Ehlermann studiert Rechtswissenschaften an den Universitäten Marburg und Heidelberg (1950-1953) und promoviert zum Dr. jur. in Heidelberg im Jahre 1955.
Von 1954 bis 1959 ist er Assistent an der rechtswissenschaftlichen Fakultät der Universität Heidelberg und studiert von 1955 bis 1956 an der Universität Michigan (Ann Arbor, USA).
Das zweite Staatsexamen legt er 1959 in Baden-Württemberg ab und belegt Kurse an der philologischen Fakultät der Universität Nancy in Frankreich. Im selben Jahr wird er wissenschaftlicher Assistent des Richters Dr. Kutscher am Bundesverfassungsgericht in Karlsruhe.
1961 beginnt seine Laufbahn bei der Europäischen Kommission in Brüssel als Berater und dann als Direktor im juristischen Dienst. 1973 tritt er in die Finanzkontrolle über, wo er bis 1977 stellvertretender Generaldirektor und von 1977 bis 1987 Generaldirektor ist.
Von 1987 bis 1990 ist er Leiter der Sprechergruppe und Pressesprecher, sowie Sonderberater für institutionelle Fragen des Kommissionspräsidenten Jacques Delors. Von 1990 bis 1995 ist er Generaldirektor für Wettbewerb. Nach dem Ausscheiden aus der Kommission 1995 ist er Mitglied und 2001 Vorsitzender des Revisionsgerichtes der Welthandelsorganisation (WTO), Inhaber eines Lehrstuhls für Europarecht am Europäischen Hochschulinstitut in Florenz (1995-2002) und Mitglied der Sozietät Wilmer, Cutler & Pickering (2002 - 2012).
Claus-Dieter Ehlermann hat zahlreiche Veröffentlichungen geschrieben und betreut, u.a. zum Europarecht, zum internationalen Kartellrecht, zur Handelspolitik, zu institutionellen Fragen und zur Wettbewerbspolitik im Zeitraum nach der Einheitlichen Europäische Akte.