Medal olimpijski od zawsze był jednym z marzeń tenisisty. Kiedy pojechał do Sydney w roku 2000, jak wszyscy sportowcy zamieszkał w kwaterze w wiosce dla sportowców. Spał marnie, dieta w stolówce mu nie odpowiadała, w meczu o brąz Federer nieoczekiwanie przegrał z Arnaudem di Pasqual.
W Atenach w roku 2004 chciał wynająć dla siebie miejsce w hotelu, ale uległ perswazji, że "nie wypada wynosić się ponad innych olimpijczyków". Spał marnie i w II rundzie turnieju przegrał z Tomasem Berdychem.
W Pekinie 2008 Federer już nie słucha, że "nie wypada". Po paryskiej i wimbledońskiej porażce z Nadalem chce Hiszpanowi odebrać niepowtarzalne trofeum jakim jest olimpijskie złoto.