Olivier Rabourdin débute au cinéma et à la scène au milieu des années 80. Au théâtre, il se produit dans plusieurs spectacles prestigieux, du Drame de la vie de Valère Novarina (Festival d’Avignon 1986) à Antoine et Cléopâtre de Shakespeare mis en scène par Stuart Seide (2005). Il collabore régulièrement à des œuvres de télévision, travaillant avec Patricia Mazuy, Josée Dayan, Thomas Vincent… Olivier Rabourdin apparaît pour la première fois au grand écran dans Le soulier de satin (1985) de Manoel de Oliveira.
Mais c’est dans les années 90 qu’il se fait remarquer avec des petits rôles pour Cédric Klapisch (Rien du tout, 1992), Catherine Corsini (Les amoureux, 1994), Gilles Bourdos (Disparus, 1998), ou Luc Besson, qui lui fait jouer Richemont dans Jeanne D’Arc (1999). On le voit dans quinze films à la décennie suivante dont Ma mère (2004) de Christophe Honoré, 13 Tzameti (2005) de Géla Babluani, Actrices (2007) de Valeria Bruni Tedeschi et Welcome (2009) de Philippe Lioret, dans lequel il incarne le lieutenant de police.
Olivier Rabourdin est ensuite nommé au César du meilleur acteur dans un second rôle pour sa prestation dans Des hommes et des dieux (2010) de Xavier Beauvois. Solide comédien de complément, il est apprécié dans de nombreux films, Pierre Gauguin dans Minuit à Paris (2011) de Woody Allen, père de Quentin Dolmaire dans Trois souvenirs de ma jeunesse (2015) d’Arnaud Desplechin, ou directeur de théâtre dans Chocolat (2016) de Roschdy Zem.
Olivier Rabourdin accède enfin à un premier rôle avec le splendide Eastern Boys (2014) de Robin Campillo. Il porte également le film d’auteur Gaz de France (2015) de Benoît Forgeard. L’acteur a également été dirigé par Anne Le Ny, Alain Corneau et Olivier Marchal. En 2021, il est à l’affiche de Benedetta de Paul Verhoeven, présenté en compétition officielle au Festival de Cannes.