Olimpiadi, il dietrofront delle città ospitanti