Figlio del celebre John Romita Sr., Romita Jr. muove i primi passi per la Marvel UK. Il suo primo lavoro è datato 1977 e appare in Amazing Spider-Man Annual n. 11, con una storia di sei pagine intitolata “Caos al Coffee Bean”. Un anno dopo la sua popolarità cresce grazie alla collaborazione con David Michelinie sulla serie di Iron Man. Nei primi anni ottanta diventa il disegnatore regolare di Amazing Spider-Man e lancia Dazzler nell'universo Marvel. Insieme a Roger Stern ha co-creato per l'Uomo Ragno il malvagio Hobgoblin. Poi, dal 1983 al 1986, ha disegnato per Uncanny X-Men con Dan Green, dove tornerà nel 1993.
Con Frank Miller lavora ad una delle più importanti storie del cornetto: “Daredevil: The man without fear”.
Negli anni novanta disegna diverse storie e personaggi: Thor, Iron Man, The Punisher War Zone, una miniserie di Cable e Hulk, scritto da Bruce Jones.
Torna poi a disegnare l'Uomo Ragno, prima sulla collana Spider-Man e successivamente su The Amazing Spider-Man, su cui resterà fino al 2004. Chiusa la nuova parentesi, disegnerà le saghe Nemico Pubblico e Agente delle S.H.I.E.L.D. per la testata Wolverine (2004-2005), su testi di Mark Millar. Nel 2007 disegna la miniserie portante del crossover World War Hulk.
Nel 2008 torna su The Amazing Spider-Man, in coppia con lo scrittore Dan Slott. Nuovamente insieme a Mark Millar, sempre nel 2008, realizza la miniserie Kick-Ass, pubblicata sotto l'etichetta Icon Comics della Marvel, a cui faranno seguito Kick-Ass 2, Hit-Girl e Kick-Ass 3. Nel 2010 diventa il disegnatore della serie Avengers con lo scrittore Brian M. Bendis. Tra il 2013 e 2014, disegna le storie del settimo volume di Capitain America, scritte da Rick Remender. Nel luglio 2013 la DC Comics gli offre la possibilità di lavorare sul personaggio di Superman in coppia con Geoff Johns. Successivamente, con Scott Snyder battezzerà la nuova iterazione della serie All Star Batman e Robin. Successivamente illustra alcuni numeri (sia cover che interni) della miniserie Burning Down the House di Suicide Squad.
Nel 2021 l’annuncio del suo ritorno in Marvel, che si concretizzerà nel rilancio di The Amazing Spider-Man #1 in coppia con Zeb Wells, nel sessantesimo anniversario della nascita del personaggio.