A fines de 1967, Geezer Butler formó su primera banda con Osbourne. La banda Polka Tulk Blues junto con el guitarrista Tony Iommi y el baterista Bill Ward, cambiaron de nombre a Earth para después llamarse Black Sabbath a principios de 1969. Este nombre fue basado en una película dirigida por Mario Bava, protagonizada por Boris Karloff, ellos habían notado cómo la gente se asustaba y disfrutaba de la cinta. Durante la grabación de su primer álbum en un castillo, Geezer leyó un libro de ocultismo y tuvo el sueño acerca de una figura oscura, Butler le contó a Osbourne sobre el sueño y juntos escribieron las letras de Black Sabbath, una de sus primeras canciones en un tono más oscuro que es considerada una de las iniciadoras del hard rock y heavy metal.
A pesar de la modesta inversión de su sello discográfico Warner Bros, Black Sabbath construyó un éxito rápido y duradero alrededor de los riffs de guitarra de Tony Iommi, las oscuras letras de Geezer Butler, enmarañadas del sonido de Bill Ward y rematado por la voz espeluznante de Osbourne. Apenas cinco meses después del lanzamiento de Paranoid el sencillo que los volvió mundialmente famosos, lanzaron Master of Reality que fue disco de oro en menos de dos meses. En noviembre de 1973, Black Sabbath lanzó el aclamado Sabbath Bloody Sabbath y por primera vez, la banda recibió críticas favorables en la prensa. Gordon Fletcher de Rolling Stone llamó al álbum un asunto extraordinariamente apasionante y nada menos que un completo éxito
En medio de ese éxito, en 1978 Osbourne dejó la banda por tres meses para que perseguir un proyecto en solitario al que llamó Blizzard of Ozz el cual grabó con tres miembros de la banda Necromandus, quien habían apoyado a Black Sabbath como teloneros.
Al terminar el proyecto, la banda pasó cinco meses en los Interchange Studios en Toronto, Canadá, escribiendo y grabando lo que sería el álbum Never Say Die! el cual tardó bastante tiempo en completarse, ya que los músicos se la pasaban realmente drogados, dormían sólo para volverse a drogar. Por fin lo finalizaron y la gira comenzó en mayo de 1978 llevando como teloneros a unos desconocidos Van Halen. Un año después las tensiones y conflictos estuvieron presentes continuamente. Osbourne recuerda como Iommi le pedía grabar su voz una y otra vez siendo este el punto de discordia entre ellos. Con el apoyo de Geezer y Bill Ward, Osbourne fue despedido de Black Sabbath. Las razones que dieron es que Ozzy que no era confiable y el abuso excesivo en el uso de alcohol y drogas. La banda lo reemplazó con el ex cantante de Rainbow: Ronnie James Dio.
En 1980, bajo la dirección de Osbourne y su entonces novia, Sharon Arden, Ozzy integró al baterista Lee Kerslake (Uriah Heep), Bob Daisley (Rainbow y Uriah Heep) el bajista/letrista y tecladista Don Airey y al guitarrista Randy Rhoads (Quiet Riot) para retomar Blizzard of Ozz el cual es uno de los pocos álbumes entre los 100 más vendidos de la década de 1980 alcanzando multi-platino; el disco es conocido por los sencillo Crazy Train y Mr. Crowley.
El segundo álbum de Osbourne, Diary of a Madman incluyó la nominación de Randy Rhoads como uno de los guitarristas más grandes de todos los tiempos por la revista Rolling Stone en 2003. Este álbum es conocido por los singles Over the Mountain y Flying High Again.
El 19 de marzo de 1982, mientras Rhoads estaba en Florida, subió a una avioneta pilotada por Andrew Aycock (quien era el conductor del autobús de gira de la banda) quien se estrelló mientras realizaba acrobacias, el ala derecha del avión rozó el autobús y se estrelló en el garaje de una mansión, provocando la muerte de Rhoads, Aycock y la estilista de la banda Rachel Youngblood. En la autopsia se encontró cocaína en la orina del Aycock.
Tras la terrible muerte de su amigo y compañero, Osbourne cayó en una profunda depresión. La gira culminó en el lanzamiento del álbum vivo Speak of the Devil en 1982 grabado en The Ritz, en la ciudad de Nueva York y posteriormente fue lanzado un álbum homenaje en vivo para Rhoads.
En 1982, Osbourne apareció como vocalista en el sencillo Shake Your Head donde Madonna realiza algunos coros. El sencillo fue remezclado y relanzado en los años noventa, pero Madonna pidió que su voz no se restableciera, por lo que se agregó la voz de Kim Basinger.
En 1983 un nuevo guitarrista fue reclutado para tocar con Osbourne. Jake E. Lee (Ratt y Rough Cutt) quien se unió a la banda para grabar Bark at the Moon. El video musical de Bark at the Moon fue filmado parcialmente en el famoso sanatorio Holloway fuera de Londres, Inglaterra. En sólo dos semanas, el álbum se convirtió en disco de oro y hasta la fecha ha vendido tres millones de copias en los Estados Unidos.
Mientras pasaba la moda del metal pesado a través de los años ochenta, Osbourne había creado otro éxito comercial, a partir de No More Tears en 1991. El álbum se difundió mucho radio y tuvo una gran exposición en MTV. El álbum fue platino cuatro veces y se ubicó en el número 10 en las listas de rock de Billboard de ese año. En este punto, Osbourne expresó su cansancio por las giras y proclamó su Tour de jubilación (que iba a ser de corta duración). Se llamaba comicamente No More Tours, un juego de palabras con su álbum No More Tears.
En 1995, Osbourne lanzó Ozzmosis y volvió a giras, con sencillos como Perry Mason y la power ballad See You on the Other Side. La alineación de Ozzmosis fue Zakk Wylde, Geezer Butler (quien había dejado a Black Sabbath) y ex-Bad English, Steve Vai, además del baterista Deen Castronovo.
El mayor éxito financiero de Osbourne lo obtuvo al crear una empresa llamada Ozzfest, creado y administrado por su esposa y manager Sharon y asistida por su hijo Jack. El primer Ozzfest celebró en Phoenix, Arizona el 25 de octubre de 1996 y en Devore, California el 26 de octubre. El Ozzfest fue un éxito instantáneo debido a los numerosos fans del metal, desde su inicio, cinco millones de personas han asistido al Ozzfest el cual ha recaudado unos 100 millones de dólares. El festival también ayudó a promover muchos nuevas bandas hard rock y heavy metal de finales de los 90 y principios del 2000. El Ozzfest ayudó a Osbourne para convertirse en la primer estrella en ganar 50 millones de dólares en ventas de mercancía. En 2005, Osbourne y su esposa Sharon protagonizaron un reality show titulado Battle for the Ozzfest en donde las bandas aún sin firmar competían por un lugar en el Ozzfest 2005 y un contrato de grabación.
El 11 de noviembre de 2011 fue anunciado, durante una Conferencia de prensa en el legendario club Whisky a Go Go, que la alineación original de Black Sabbath: Ozzy, Tony Iommi, Geezer Butler y Bill Ward podría reunirse para una gira mundial y nuevo álbum, que será producido por Rick Rubin.
Osbourne obtuvo una mayor celebridad a través del reality The Osbournes, una serie de televisión con la vida doméstica de él y su familia (Su esposa Sharon, hijos Jack y Kelly y apariciones ocasionales de su hijo Louis pero no de su hija Aimee, quien se negó a participar). El programa se convirtió en uno de los grandes éxitos de MTV. Se estrenó el 05 de marzo de 2002, y el último episodio fue emitido el 21 de marzo de 2005. Ozzy es un partidario del club de fútbol inglés Aston Villa, y publicó una autobiografía en octubre de 2009, titulada I Am Ozzy. Mientras tanto, su hijo Jack está trabajando en un documental sobre la vida y la carrera de Osbourne.
Ozzy ha estado casado dos veces y es padre de seis hijos (cinco biológicos y uno adoptado). Primero se casó con Thelma Riley (ahora profesoar en Leicestershire) y adoptó a su hijo, Elliot Kingsley (1966); Juntos tuvieron Jessica Starshine Osbourne Hobbs (20 de enero de 1972) y Louis John Osbourne (1975). Más tarde se casó con Sharon Arden y tuvieron tres hijos: Aimee Osbourne (2 de septiembre de 1983), Kelly Osbourne (27 de octubre de 1984) y Jack Osbourne (8 de noviembre de 1985). También adoptó al amigo de la familia Robert Marcato después deque su madre murió, pero nuncade manera lega.. Osbourne también tiene cuatro nietos: Isabelle y Harry de Jessica y Mia y Elijah de Louis. Ozzy divide su tiempo entre Los Angeles y el condado de Buckinghamshire y cuenta con una fortuna estimada en 100 millones de libras ganadas de sus grabaciones, giras y programas de TV.