J.K. Simmons est un éternel second rôle du cinéma américain au visage bien connu des spectateurs. Son rôle de rédacteur en chef dans la trilogie originelle de Spider-Man en a fait une figure reconnue des jeunes spectateurs.
Au cinéma, en France, on le voit dès 1997 dans des thrillers comme Mesure d’urgence, avec Hugh Grant et Gene Hackman, Le chacal avec Bruce Willis et Richard Gere : des échecs.
Il développe d’excellentes relations avec Sam Raimi, qui, outre les trois adaptations Marvel, le dirige dans Pour l’amour du jeu, film sportif avec Kevin Costner, ou le thriller surnaturel Intuitions, avec Cate Blanchett.
Apprécié par les frères Coen, il apparaît dans Ladykillers et Burn After Reading. Jason Reitman le dirige dans Thank you for Smoking, Juno, In the Air, et Young Adult.
Homme de caractère, il éclate en professeur de musique tyrannique dans Whiplash en 2014, coup de poing de Damien Chazelle, qui lui vaut un BAFTA, un Golden Globe et un Oscar dans la catégorie du meilleur second rôle masculin. Il retrouvera Chazelle dans le film à Oscars La La Land, en 2016.