Consiguió su primer guitarra a los 12 y dos años mas tarde apareció en un programa de jóvenes talentos, dejó la escuela a los 17 para tocar con una banda y tomaba clases de música. Comenzó a ganar fama entre los músicos locales, tocaba muy seguido en un lugar llamado el Marquee, donde también tocaban frecuentemente dos jóvenes desconocidos pero muy talentosos: Jeff Beck y Eric Clapton. Un día, alguien le pidió que le ayudara a grabar la guitarra en una canción de Jet Harris que termino teniendo cierta fama en 1963. Ahí comenzó una carrera como músico de sesión, tenia mucho trabajo, grababa con muchísimos artistas como: Marianne Faithfull, Rolling Stones, Van Morrison, Brenda Lee, los Kinks.
Pero tuvo su primera gran oportunidad en 1964 cuando Eric Clapton estaba dejando su plaza como guitarrista de los Yardbirds. Jimmy no estaba muy seguro de tomar el puesto porque le iba muy bien económicamente como músico de sesión, aunque siempre quiso tener una banda propia. En fin que las experiencias que le había dejado el estudio de grabación y las giras, lo llevaron a crear un estilo propio que lució. llegado el momento, con Led Zeppelín, al lado de John Bonham, John Paul Jones y Robert Plant, donde dio rienda suelta a la experimentación y composición de un estilo que caracterizó a Zeppelin todos esos años, creando los clásicos que todos conocemos: Whole Lotta Love, Black Dog, Heartbreaker, Starirway To Heaven -que según los criticos tiene el mejor solo de guitarra de todos los tiempos- de se dice que Jimmy Page se acabo todos los riffs del mundo.
Zeppelin grabo solamente una docena de álbumes entre conciertos y ediciones especiales. Cuando la banda se desintegro en 1980 y después de la muerte de John Bonham, Jimmy intentó formar un grupo con algunos integrantes de Yes: Chris Squire y Alan White, pero eso nunca ocurrió. Estuvo colaborando en otros proyectos, y en 1984 grabó un disco con Robert Plant, bajo el nombre de los Honeydrippers y también realizó música para películas a mediados de los 80. En 1985 se dio la reunión de Zeppelín en el festival Live Aid, con Phil Collins y Tony Thompson sustituyendo al Bonham. Hubo también una reunión con Robert Plant en 1994 para hacer un unplugged para MTV, que terminó en una gira que llegó a México: No Quarter Tour en el Palacio de los Deportes. aún se realizan varias remasterizaciones de Zeppelín para todos los fans que gustan de su catalogo, y Jimmy toca de vez en cuando en festivales.
Se sabe que tiene una especial fascinación por la poesía y apoya mucho a los escritores para que se presenten en diferentes foros.
El ha sido inspiración para diferentes guitarristas que han tratado de copiar su estilo, es catalogado como el numero 9 dentro de los 100 mejores guitarristas de todos los tiempos. Es fan de
Es un fanático del ocultismo - ¿Recuerdan aquellos símbolos que caracterizaban a cada uno de los integrantes de Zeppelín?-, Le fascina el zodiaco y todas esas cuestiones. Tiene una hija llamada Scarlet Page quien es una fotógrafa muy conocida y respetada.
Vean al pequeño Jimmy a los 14 años tocando para la televisión local:
Aquí está con Robert Plant algunos años después: