Matthias Ruete entre à la Commission européenne en 1986 en tant qu'administrateur au sein de la DG « Affaires sociales » et puis de la DG « Marché intérieur ». De 1989 à 1993, il est Assistant du Directeur Général de la DG Marché intérieur et affaires industrielles, avant de devenir en 1993 Chef d'unité en charge de la Coopération industrielle à la DG Industrie. De 1995 à 1998, il est Membre, puis Chef adjoint du cabinet du Commissaire à la Recherche, l'innovation et à la formation. De 1998 à 2000, il est Directeur à la DG Transport, en charge des relations internationales, des transports transeuropéens et des réseaux d'infrastructure. Entre 2000 et 2004, il est Directeur à la DG Elargissement, en charge de la coordination des négociations.