Olimpiadi, il CIO tira dritto