Joel estudió en la Secundaria Hicksville y se graduó en 1967. Sin embargo, no tenía los suficientes créditos en una materia para poder graduarse; se quedó dormido el día de un examen importante debido a su estilo de vida nocturna. Teniendo que atender a cursos de verano para completar ese requerimiento, optó por no continuar. Tocó con diversos grupos que no le proporcionaron mucho éxito, hasta que en 1971 grabó en Nueva York el álbum Cold Spring Harbor, su presentación en el Festival Mar y Sol de Puerto Rico el 2 de abril de 1972 despertó el interés de Columbia Records quienes lo firmaron en 1973 y de ahí alcanzó el éxito con su álbum Piano Man. Justamente la canción que le da nombre al álbum, y que está considerada a la fecha como una de las grandes canciones del pop-rock de todos los tiempos. En 1974 estando en Los Ángeles graba el álbum Streetlife Serenade que incluía el éxito "The Entertainer" donde sigue abordando con diferentes matices la temática del pianista optimista, alejado de la suerte, pero que lucha y se apasiona por su vocación, en un mundo duro y competitivo, al igual que su predecesor Piano Man. En 1976 graba el álbum Turnstiles.

Pero lo mejor estaba por llegar, para este pianista compositor y cantante, en 1977 el álbum The Stranger lo hizo acreedor de dos premios Grammy, primero como Mejor Disco del Año, con canciones como "Movin' Out" o "Only the Good Die Young". Además la emblemática "Just the Way you Are" fue un éxito desde su aparición, ganadora del Grammy como mejor canción del año y escuchada en el mundo entero, es quizás el tema de Billy Joel con más versiones en la historia y fue escrito para Elizabeth Weber su esposa en ese entonces. Grandes cantantes como Barry White, Diana Krall y hasta José José, la incluyeron en sus discos. El álbum está considerado dentro de los 100 mejores álbumes de la historia por la revista Rolling Stone, junto al siguiente álbum de Billy Joel, titulado 52nd Street de fines de 1978, que cimentó su fama y éxito con baladas poderosas y armoniosas como "Honesty" o "My Life" entre otras. Este álbum ganó el Grammy a mejor performance vocal en un artista masculino.

Durante los 80 la música de Joel cambió, de aquel rock/pop alegre, virtuoso y pegajoso, acompañado de letras que hablaban de experiencias en bares, contando historias de viajes y regresos como Seen The Lights Gone Out On Broadway, New York State of Mind o Allentown. El primer disco de Joel en los 80 The Nylon Courtain de 1982 trata temas introspectivos y, en cierto punto, rayando con lo político, como las guerras, que deja ver en su tema "Goodnight Saigon", una de sus mejores canciones y que significa un homenaje a aquellos soldados perdidos en la guerra de Vietnam.

En 1983 lanzó el álbum An Innocent Man con éxitos como "Tell Her About it" y "Uptown Girl". Este álbum es un tributo de Billy Joel a la música de su infancia. Billy Joel considera este como un álbum de cantantes y hace un homenaje a diferentes estilos musicales, incluyendo: "Uptown Girl" - Un homenaje a Frankie Valli y The Four Seasons, "The Longest Time" - Un homenaje al estilo doo-wop, hecho popular a mediados de los años 50. Esta canción requirió de 14 tracks vocales, cada uno hecho por Billy Joel y juntados durante la producción. En 1985 lanza "The Greatest Hits " un álbum doble recopilatorio de sus mejores éxitos de 1973 a 1985. En 1986 se publica "The Bridge" que contiene canciones como la exitosa "Matter Of Trust.

A finales de la década Joel volvió a cambiar su apariencia, y su música de nuevo volvió a ser el clásico contador de historias de los 70, con sus descripciones únicas y con sus ritmos pegajosos en cada canción que escribía, así 1989 a sus 40 años lanza el excelente álbum Storm Front de la cual el tema fue un éxito arrollador. "We Didn't Start the Fire" es una canción que hace referencia a los principales eventos históricos que ocurrieron en el mundo (La guerra fría, ideologías, políticos, artistas) desde el momento en que Joel nació hasta que compuso la canción (desde 1949 hasta 1989). Los eventos que se nombran se mezclan con un estribillo que afirma: "Nosotros no empezamos el fuego" (We didn't start the fire). La canción fue número uno en las listas de Estados Unidos. La canción y el vídeo han sido interpretados como una contestación a las críticas hacia la generación de Joel, de parte de las que la precedieron y sucedieron, afirmando que sus protagonistas habían sido los culpables de los problemas que aquejaban al mundo en ese momento. El mensaje contrasta fuertemente con la canción "Allentown", la cual compuso antes en su carrera, y en la que culpa a la generación de sus padres por los problemas contemporáneos.

En 1992, el crédito que debía en la escuela fue dispensado por la junta de la escuela Hicksville y recibió su diploma en una ceremonia de graduación tras 25 años después de que dejara la escuela. En 1993 edita su duodécimo álbum River Of Dreams donde discute temas como la fidelidad y el amor de larga duración; temas como "All About Soul", muestran las disputas con su manager y excuñado, Frank Weber, quien hizo un desfalco a Billy Joel. Éste es el último álbum pop en estudio grabado por Billy Joel; de allí en adelante se grabaron recopilaciones de grandes éxitos: Volumen III y IV, grabaciones de los mejores conciertos, remasterizaciones, etc.

Se ha casado 3 veces, una vez con la modelo Christie Brinkley, tuvieron una hija llamada Alexa Ray Joel; quien ya sacó un disco y ha destacado igual, como pianista y cantante soul.

Billy Joel es considerado uno de los grandes cantautores de todos los tiempos, ganador de 6 Grammys en su carrera, 19 incluyendo el Grammy Leyenda por su contribución a la música. Su legado en la cultura pop es sólo comparable con el de otros grandes como Elton John o Frank Sinatra entre otros, canciones que permanecerán inmortales a través de los años y que han emocionado a generaciones completas. Billy Joel es, ante todo, un sagaz contador de historias, un trovador rockero. Su sello particular, melódicas canciones Pop/Rock con un toque sutil y fantástico del piano, y como letra, cualquier historia que Joel pudiera contar, que iban desde viajes, fiestas, historias amorosas, y encuentros inesperados.