Jan sa najprv učil hrať na akordeón a až neskôr prešiel ku gitare. Prvý singel vydal so skupinou Friendship Sextet, ako 13. ročný v roku 1960. Študoval na Amsterdamskom hudobnom lýceu a v 14. rokoch hral v skupine Johnny and his Cellar Rockers. Neskôr prišla skupina Brainbox, ale najdôležitejším momentom v kariére bolo stretnutie s Thijsom van Leerom a následný vznik skupiny Focus.
S kapelou nahral sedem najslávnejších albumov od prvého „Focus Plays Focus“ z roku 1970 až po „Mother Focus“ z roku 1975 a živý „At The Rainbow“ z roku 1973. Focus boli považovaní za „priekopníkov“ progresívneho rocku, niektoré albumy boli zlaté a sám Akkerman bol vyhlásený časopisom Melody Maker v roku 1973 za najlepšieho gitaristu na svete.
Firma Frame začala vyrábať v spolupráci s Janom jedny z prvých signovaných gitár. Zo skupiny odišiel v roku 1976 a dal sa na sólovú dráhu (vrátil sa na viaceré reuniony).
Jan Akkerman postupne vydal ( ak nerátame prvý album „Talent For Sale“ z roku 1968) neuveriteľných 37 albumov od prvého „Profile“ z roku 1972 až po posledný „Close Beauty“ z roku 2019. Okrem toho spolupracoval a hrával s mnohými slávnymi menami, ako Alan Price, Peter Banks, Jack Bruce, Phil Collins, Paco de Lucia, alebo B.B. King. Zaujímavosťou je, že Jan Akkerman je od roku 2013 rytierom holandského kráľovského rádu Orange – Nassau.
V súčasnej kapele s ním hrajú - Coen Molenaar (klávesy), Marijn van den Berg (bicie) a David de Marez Oyens (basgitara).
