De son vrai nom Koo Kar-fai, Joseph Koo est né à Canton. En 1948, sa famille déménage à Hong Kong où sa sœur, Carrie Ku Mei, deviendra une chanteuse et actrice à succès. Après des études musicales à Boston, Joseph Koo revient à Hong Kong et se fait embaucher par les firmes Shaw Brothers et Golden Harvest.
Le compositeur et musicien signe alors, notamment, les bandes originales des films La fureur du dragon (1972), La fureur de vaincre (1972) et Le jeu de la mort (1978), montés autour de la star Bruce Lee. À la même époque, il associe son nom à la « cantopop », musique chinoise de Hong Kong, et collabore avec le parolier James Wong pour de multiples chansons.
Joseph Koo signe ses partitions de cinéma les plus célèbres avec Le syndicat du crime (1986) et Le syndicat du crime 2 (1987) de John Woo. Il remporte le Hong Kong Film Award de la meilleure musique originale pour Terracota Warrior (1989) de Ching Siu-tung.
Dans les années 1990, l’artiste s’expatrie au Canada, tout en continuant de travailler pour la scène hongkongaise.
Joseph Koo est décédé le 3 janvier 2023 à l’âge de 91 ans.