André Wilms commence en 1975 un beau parcours théâtral, qui le voit dirigé par Jean-Pierre Vincent, Jacques Lassalle ou Georges Lavaudant. Il signe lui-même plusieurs mises en scène, dont Les Bacchantes d’Euripide, à la Comédie-Française (2005).
Il débute au cinéma dans les années 80 et élargit son audience en interprétant M. Le Quesnoy dans la comédie culte La vie est un long fleuve tranquille (1988) d’Étienne Chatiliez. Il devient dès lors un second rôle discret mais solide du cinéma français et européen, PDG dans La lectrice (1988) de Michel Deville, inspecteur de police dans Monsieur Hire (1989) de Patrice Leconte, militaire dans Europa Europa (1990) d’Agnieszka Holland, médecin dans Tatie Danielle (1990) et Tanguy (2001) d’Étienne Chatiliez, L’enfer (1994) de Claude Chabrol ou Ricky (2009) de François Ozon, mari de Charlotte Rampling dans Hannah (2017) d’Andrea Pallaro.
André Wilms tourne aussi avec François Dupeyron, Pierre Beuchot, Bénédicte Liénard, Mathieu Demy, Tonie Marshall…
Aki Kaurismäki est le cinéaste qui lui donne ses rôles les plus étoffés et profonds, dans La vie de bohème (1992), aux côtés de Jean-Pierre Léaud et Matti Pellonpää ; et surtout Le Havre (2011), où il est admirable en patron-pêcheur qui cache un enfant clandestin.
L’acteur est également employé pour des rôles de vieux père à partir des années 2010. Il est celui de Louis Garrel dans Un château en Italie (2013) de Valeria Bruni Tedeschi, de Cécile de France dans Ôtez-moi d’un doute (2017) de Carine Tardieu, ou de Logann Antuofermo dans Le sel des larmes (2020) de Philippe Garrel.