Tras terminar la escuela, Joe se mudó a Londres para estudiar en la escuela de arte y diseño; tenía la intención de convertirse en caricaturista. Durante estos años compartió su departamento con Tymon Dogg, quien luego colaboraría con él en sus proyectos musicales.
En 1973, Strummer se mudó a Newport, Gales para asistir al Newport College of Art, y formó junto a unos amigos, la banda The Vultures, a la vez, trabajaba como sepulturero para solventar sus gastos. En 1974 la banda se separó y Strummer volvió a Londres, donde se reencontró con Tymon Dogg. Desde ese entonces ambos comenzaron a actuar como músicos callejeros hasta que, junto a sus compañeros de departamento, formaron la banda The 101'ers, nombrada así por la dirección donde habitaban (Walterton Road 101, en Maida Hill).
Desde ese entonces, el grupo comenzó a tocar versiones de canciones populares de blues americanas en distintos pubs de Londres. En 1975 Mellors escogió el seudónimo "Joe Strummer" para suplantar el que utilizaba hasta el momento, "Woody" Mellor. El nombre "Strummer" ("rasgueador" en inglés) era para referirse de manera despectiva a su rol de guitarrista rítmico. Strummer pronto comenzó a escribir temas originales para The 101'ers, uno de ellos, inspirado en su novia de ese momento, la baterista española del grupo The Slits Palmolive. Al resto de los miembros les gustó la canción, titulada "Keys to Your Heart", y la eligieron para grabar su primer sencillo.
El 3 de abril de 1976, la entonces desconocida banda Sex Pistols, tocó en un show londinense junto a otros grupos, entre los cuales se encontraban The 101'ers. Poco después de la presentación, el bajista, Paul Simonon, y el guitarrista, Mick Jones, del grupo London SS, se acercaron a Strummer con el objetivo de incorporarlo como cantante a una nueva banda. "Eres bueno, pero tu grupo es una mierda" le dijeron. Strummer pronto se unió a la banda que formarían Jones a la guitarra, Paul Simonon al bajo, Keith Levene como segunda guitarra y Terry Chimes a la batería. Esta banda se llamó The Clash, quienes debutaron el 4 de julio de 1976, teloneando a los Sex Pistols en The Black Swan, hoy conocido como The Boardwalk, en Sheffield.
El 25 de enero de 1977 la banda firmó contrato con CBS Records, a pesar de haber sufrido las salidas de Levene y Chimes. Poco después, Topper Headon se convertiría en el nuevo baterista, completando así la formación clásica del grupo.
The Clash sobresalía de las bandas del momento. Sus canciones, usualmente compuestas por Mick Jones y el propio Strummer, trataban temas como la decadencia social, el desempleo, el racismo, la brutalidad policial, la represión política y social, el militarismo y el sexo. Strummer estaba involucrado en las campañas de la liga Anti-nazi y del "Rock Contra el Racismo". La importancia a nivel musical de The Clash se evidencia en la elección de su álbum London Calling como mejor disco de los años '80 por la revista Rolling Stone (a pesar de haber sido lanzado en diciembre de 1979), y en la influencia que ha ejercido el grupo en una gran cantidad de bandas de rock y otros géneros como el reggae, ska y hip-hop.
En septiembre de 1983, después de varios conflictos internos en el grupo, Strummer emitió el célebre "Clash Communique", que anunciaba la expulsión de Mick Jones. Poco antes, Topper Headon también había sido separado por su adicción a la heroína. A pesar de los problemas, la banda incorporó nuevos miembros y continuó gracias a la insistencia de Strummer. Hacia 1985 editaron el álbum Cut the Crap, pero después de las malas críticas y el repudio de los fans, Joe Strummer dio por finalizada la existencia de The Clash en 1986.
Un año más tarde, Strummer compuso varias canciones para la película Sid and Nancy, incluyendo "Love Kills" y "Dum Dum Club". Poco después trabajó con Mick Jones en su nuevo proyecto, Big Audio Dynamite, componiendo junto a él la mayor parte de los temas del segundo álbum de la banda. En 1987 actuó en las películas Walker y Straight to Hell, dirigidas por Alex Cox, y compuso la banda sonora para la primera. En 1989 colaboró en la película de Jim Jarmusch, Mystery Train, haciendo el papel secundario de un borracho llamado Elvis. Además, participó como actor secundario en la película de Aki Kaurismäki, I Hired a Contract Killer, de 1990, dando vida a un guitarrista que canta dos canciones en un pub. Durante estos años continuó ligado a la industria cinematográfica, componiendo y produciendo una gran cantidad de canciones para bandas sonoras, entre las que destaca la perteneciente a la película Grosse Pointe Blank.
En 1989 Strummer comenzó a grabar con la banda The Latino Rockabilly War. Sin embargo, el álbum Earthquake Weather fue un desastre comercial por lo cual perdieron su contrato con Epic Records. En 1991 reemplazó brevemente a Shane MacGowan en el rol de cantante de The Pogues para una gira de la banda realizada poco después de la ida del cantante del grupo. A su vez produjo el álbum Hell's Ditch de la banda. El 16 de abril de 1994 Strummer tocó una variedad de temas de The Clash con la banda checo-americana Dirty Pictures, en un show a beneficio de los refugiados yugoslavos denominado "Rock for Refugees". Luego de estas apariciones fugaces, Joe comenzó a colaborar con otras bandas como The Levellers, donde tocó el piano para el tema "Just the One" y Black Grape, con la que contribuyó en el sencillo "England's Irie" de 1996. En 1997 trabajó con los productores e ingenieros musicales Lee Perry y Marty Munsch en Nueva York, para remezclar en versiones dub muchos de los temas de The Clash y The 101'ers.
Durante estos años, Strummer mantuvo una disputa con Sony BMG Music Entertainment, la discográfica de The Clash, hasta que ésta le permitió emitir sus trabajos solistas o con otras bandas en otra discográfica bajo la promesa de que, en caso de volverse a juntar, The Clash volvería con Sony. Por otro lado, se dedicó a ser locutor de radio en un programa de media hora de duración emitido por la BBC World Service y llamado "London Calling".
The Mescaleros.
A fines de los 90 Strummer reunió a un grupo de músicos destacados para crear una nueva banda a la que llamó The Mescaleros. El grupo firmó con Mercury Records y emitió su primer álbum, Rock Art and the X-Ray Style, en 1999. Con el objeto de promocionarlo, comenzaron una gira por el Reino Unido y los Estados Unidos, donde también tocaron en algunas ocasiones temas clásicos de The Clash. En 2001 la banda firmó contrato con la discográfica punk de California Hellcat Records y lanzó su segundo álbum de estudio, Global A Go-Go. Una vez más, iniciaron una gira en la que incluyeron temas de The Clash como "London Calling", "Rudie Can't Fail" y "(White Man) In Hammersmith Palais", versiones de clásicos del reggae y el ska y el tema "Blitzkrieg Bop" de The Ramones, con el que cerraban usualmente sus conciertos como homenaje al recientemente fallecido Joey Ramone.
El 5 de noviembre de 2002, Strummer y The Mescaleros tocaron en un recital a beneficio de los bomberos voluntarios de Londres. Mick Jones, que se encontraba entre los espectadores, se unió a la banda cuando ésta tocaba "Bankrobber" de The Clash y cantó y tocó la guitarra en los temas "White Riot" y "London's Burning". De esta manera, Strummer y Jones volvieron a tocar juntos por última vez después de diecinueve años. Jones remarcó luego que la situación no había sido premeditada y que solo había obedecido a un impulso.
El último show de Strummer fue en la Academia de Liverpool el 22 de noviembre de 2002. Poco antes de su muerte, había compuesto junto a Bono (U2) la canción "46664", a favor de la campaña contra el sida en África, iniciada por Nelson Mandela.
Strummer falleció de manera sorpresiva el 22 de diciembre de 2002 en su casa de Broomfield en Somerset, a causa de una fallo cardíaco congénito no diagnosticado. En el momento de su muerte Strummer se encontraba trabajando en un álbum con The Mescaleros, que se editó de manera póstuma en octubre de 2003 con el título Streetcore. Entre otros temas el disco contenía un tributo a Johnny Cash ("Long Shadow"), una canción recordando los atentados del 11 de septiembre de 2001 y el cover del clásico "Redemption Song" de Bob Marley, esta última grabada a dúo con Cash. Desgraciadamente Strummer no tuvo la oportunidad de completar las partes vocales de algunos temas, incluyendo "Dakar Meantime", que interpretó en vivo algunas veces antes de su muerte.
En los premios Grammy de febrero de 2003, "London Calling" fue interpretada por Elvis Costello, Bruce Springsteen, Steven van Zandt, Dave Grohl, Pete Thomas y Tony Kanal como tributo a Strummer. Para marzo de ese año, The Clash fue incluido en el Salón de la Fama del Rock.
En 2006 se emitió un documental de Dick Rude titulado Let's Rock Again! en el que se muestran anécdotas de la gira de The Mescaleros para su álbum Global a Go-Go.
Además de su música, Strummer colaboró en la creación de Future Forests (luego renombrado como The Carbon Neutral Company) que es una organización dedicada a la plantación de árboles alrededor del mundo con el objeto de combatir el calentamiento global.
A comienzos de los '70, Strummer, a cambio de cien libras, se casó con la sudafricana Pamela Moolman para que ésta pudiera obtener la ciudadanía británica.[cita requerida] Entre los años 1979 y 1993 mantuvo una relación con Gaby Salter, con quien tuvo dos hijas, pero nunca se casaron. En 1995 se casó con Lucinda Tait, relación que duró hasta la muerte del músico.