Aluksi Šefčovič työskenteli Tšekkoslovakian ulkoasiainministeriössä. Tšekkoslovakian jakautumisen jälkeen vuonna 1993 hän jatkoi ulkoasiainministeriössä, mutta Slovakian ministeriössä. Sen jälkeen hän palveli maataan Israelin-suurlähettiläänä Tel Avivissa vuosina 1999–2002 ja myöhemmin EU-suurlähettiläänä Slovakian pysyvässä edustustossa Euroopan unionissa Brysselissä vuosina 2004–2009. Lokakuun ensimmäisenä päivänä vuonna 2009 hänet nimitettiin korvaamaan Ján Figeľ koulutuksen, kulttuurin, monikielisyyden ja nuorisoasioiden komissaarina.[1]