En 1962, Anderson se unió a The Warriors (también conocido como The Warriors Electric), donde él y su hermano Tony hacían la voz principal. Dejaron la banda en 1967 y lanzaron dos sencillos como solistas en 1968 bajo el seudónimo de Hans Christian.
En marzo de 1968 Anderson conoció al bajista Chris Squire y formaron Mabel Greer Toyshop, alguna vez, Jon comentó que en escencia esa banda consistía en "Demasiadas drogas y no suficiente diversión"
Anderson y Squire terminaron formando Yes con el baterista Bill Bruford y el teclista Tony Kaye. Su álbum debut fue lanzado en 1969 donde Jon era una importante fuerza creativa, sus compañeros le llamaban: "Napoleón" por su corta estatura y el liderazgo de la banda. Él jugó un papel indispensable en la creación de piezas tan complejas como "Close to the Edge" "Awaken" y especialmente "The Gates of Delirium" a pesar de que sus habilidades instrumentales eran limitadas en comparación con el resto de la banda. Se quedó con el grupo hasta 1980 y a esto se le conoce como el período clásico de Yes.
Jon se reincorporó a Yes en 1983, cuando produjeron su álbum de mayor éxito comercial: 90125 con el recién llegado Trevor Rabin. Sin embargo, Jon se fue otra vez en 1988 por diferencias creativas, en relación con la búsqueda continua de la banda de mayor éxito comercial. En 1989, Anderson y otros ex miembros del Yes, formaron el grupo: Anderson, Bruford, Wakeman y Howe (ABWH), con el bajista Tony Levin , quien había tocado con el baterista Bill Bruford en King Crimson. Anderson se quedó en la banda hasta el 2008.
Anderson actuó por última vez con Yes en el 2004. Había una gira prevista para el verano de 2008, pero fue cancelada cuando Anderson sufrió aguda insuficiencia respiratoria. Desde mediados de 2011, Anderson está colaborando con Rabin y Wakeman en una nueva experiencia Anderson-Wakeman-Rabin, y probablemente den algunos conciertos en 2012.
Respecto al estilo de Jon, él declaró en 2008 al Pittsburgh Post-Gazette: "Yo soy un tenor alto y puedo cantar algunas notas altas, pero nunca pude cantar en falsete" Además de hacerlo con su original acento de Lancashire.
Una de las pasiones de Anderson es la pintura y usa ese arte como otro canal para su creatividad y expresión personal. Su obra está disponible en su web oficial. le gusta vivir en Francia. El 13 de mayo de 2008, Anderson sufrió un severo ataque de asma y se le diagnosticó insuficiencia respiratoria aguda.