«Эксельсиор» был основан 23 июля 1902 года, под названием Rotterdam Football and Athletics Club Excelsior (Роттердамский Футбольный и Легкоатлетический Клуб Эксельсиор). «Эксельсиор» стал одним из первых рабочих клубов в Нидерландах. В 1945/46 году «Эксельсиор» впервые вышел в первый дивизион нидерландского чемпионата. Трижды становился победителем первого дивизиона Нидерландов (вторая лига по значимости) в 1974, 1979 и 2006 годах.
«Эксельсиор» один раз выходил в финал Кубка Нидерландов, в сезоне 1929/30, но проиграл матч соседям роттердамскому «Фейеноорд» со счетом 0-1.
Кроме «Эксельсиора», в Роттердаме есть ещё две профессиональные команды которые стоят рангом выше него, это «Спарта» и «Фейеноорд». Будучи менее популярным, «Эксельсиору» приходилось играть в творческий футбол чтобы выжить. За это творчество «Эксельсор» стал главным претендентом на получение профессионального статуса. В 1954 году «Эксельсиор» был принят в профессиональную лигу Нидерландов.
В 1958 году Эксельсиор стал первым нидерландским клубом с закрытым стадионом. Так же в 1974 году стал первым голландским клубом со спонсорским патчем на футболке, с надписью «А» (Akai).