В 2004 году шведский спортсмен выиграла золотую медаль Олимпиады, но через четыре года в Пекине не смог защитить свой титул из-за травмы.
Именно проблемы со здоровьем и стали главной причиной ухода Оллсона из спорта.
Олссон выиграл последний серьезный титул в 2006 году на чемпионате Европы в родном Гетеборге.