Formé au Théâtre national de Strasbourg, Hervé Pierre débute au théâtre en 1972 et à la télévision huit ans plus tard. Pendant plus de trente ans, il collabore avec de grands metteurs en scène comme Jean-Pierre Vincent, Bernard Sobel, Guy Rétoré ou Roger Planchon.
Il devient pensionnaire de la Comédie-Française en 2007 et obtient deux ans plus tard le prix du meilleur comédien décerné par le Syndicat professionnel de la critique de théâtre, de musique ou de danse, pour La grande magie d’Eduardo De Gregorio, par Dan Jemmett. Hervé Pierre est nommé 522e sociétaire du Français en 2017. Il en est l’un des membres les plus prestigieux par ses interprétations et mises en scène.
Le cinéma fait appel à ses talents à partir du milieu des années 90. Hervé Pierre est brigadier dans Le hussard sur le toit (1995) de Jean-Paul Rappeneau, ou imprésario dans Lautrec (1998) de Planchon. Pascal Thomas en fait un avocat dans Mercredi, folle journée ! (2001), un huissier dans Le grand appartement (2006) et un médecin dans Associés contre le crime (2012).
On le retrouve en psychiatre dans Les garçons et Guillaume, à table ! (2013) de Guillaume Gallienne, bourgeois dans Le journal d’une femme de chambre version Benoit Jacquot (2015), ou général dans J’accuse (2019) de Roman Polanski. Hervé Pierre est dirigé par Paul Verhoeven dans Benedetta, en compétition officielle au Festival de Cannes 2021.