Jo Van Fleet fait ses premiers pas professionnels sur scène en 1944, après une formation d’art dramatique à l’Université de Stockton et à New York. Elle devient au début des années 50 une gloire de Broadway, dirigée par des metteurs en scène de la trempe de Lee Strasberg et Elia Kazan, qui lui fait intégrer l’Actors Studio.
Elia Kazan lui propose ensuite de jouer la mère de James Dean dans À l’est d’Éden (1955). Pour ce début au cinéma, elle obtient l’Oscar de la meilleure actrice dans un second rôle, trois ans après avoir décroché un Tony Award.
On la revoit dans cinq autres films des années 50, dont le western Règlement de comptes à O.K. Corral (1957) de John Sturges, où elle est incarne la compagne délaissée de Kirk Douglas. Elle retrouve son ami et metteur en scène Elia Kazan dans Le Fleuve sauvage (1960), où elle est grimée en octogénaire, donnant la réplique à Montgomery Clift et Lee Remick.
Mais après Luke la main froide (1967) de Stuart Rosenberg, avec Paul Newman, Jo Van Fleet prend ses distances avec le cinéma pour la télévision, et surtout le théâtre, qui lui propose davantage de bons rôles. Elle ne tourne que trois films entre 1971 et 1986, dont Le Locataire (1976) de Roman Polanski, où elle campe une inquiétante voisine.