Джон Болдуин родился 3 января 1946 года в Сидкапе, графство Кент (ныне часть Большого Лондона). Псевдоним «Джон Пол Джонс» ему предложил взять приятель Эндрю Луг Олдхэм (в будущем — менеджер Rolling Stones): источником вдохновения послужил французский постер к фильму того же названия. Джон начал играть на фортепиано в возрасте шести лет под руководством отца, аранжировщика и саксофониста Джо Болдуина, участника многих биг-бэндов 1940-1950-х годов, в частности, Ambrose Orchestra. Мать также работала в музыкальном бизнесе: это позволяло всем троим давать семейные концерты и даже проводить небольшие гастроли по стране.
В числе ранних влияний будущий бас-гитарист называл блюз Большого Билла Брунзи, джаз Чарли Мингуса и фортепианные концерты Сергея Рахманинова. К серьёзному изучению музыки Джонс приступил в Крайст-колледже (Блэкхит, Лондон). В возрасте 14 лет он был приглашен органистом и руководителем хора в местную церковь. Тогда же он приобрел свою первую электрогитару (Dallas), затем сменил её на бас гитару Fender Jazz Bass, прослуживший ему до 1975 года. Под впечатлением от сольной партии в «You Can’t Sit» Фила Апчёрча Джон Пол Джонс принял решение окончательно переключиться на бас-гитару.
Впервые участником рок-группы (она называлась The Deltas) Джон Пол Джонс стал в возрасте 15 лет. Затем он перешел в лондонский джаз-роковый состав Jett Blacks, где играл, в частности, Джон МакЛафлин (впоследствии виртуоз гитары, лидер Mahavishnu Orchestra). В 1962 году Джон Пол Джонс познакомился с Джетом Харрисом и Тони Миэном, только что покинувшими The Shadows, и в течение двух следующих лет играл в их ансамбле (последний остался в истории с хитом «Diamonds»: в записи его Джонс участия не принимал, зато здесь отметился Джимми Пейдж).
В 1962—1963 годах Джон Пол Джонс принял участие в более чем ста студийных сессиях, а в 1964 году (рекомендованный) Тони Миэном, стал кадровым сессионником Decca Records, тогда же выпустив первый сольный сингл «Baja»/«A Foggy Day In Vietnam», записанный продюсером Эндрю Лугом Олдхэмом.
В течение трёх последующих лет он — в качестве бас-гитариста, клавишника, аранжировщика — сотрудничал со многими известными исполнителями. В их числе были Rolling Stones (Their Satanic Majesties Request: аранжировка струнных в «She’s A Rainbow»), Herman's Hermits, Донован («Sunshine Superman», «Mellow Yellow»), Джефф Бек, Кэт Стивенс, Род Стюарт, Ширли Бэсси, Лулу, Дасти Спрингфилд (с ней он провёл и серию концертов Talk of the Town), Клифф Ричард и другие.
В какой-то момент Клифф и The Shadows почти «отменили» всю будущую историю Led Zeppelin, попытавшись уговорить Джонса заменить в их составе ушедшего басиста Брайана «Ликорис» Локинга (в конечном итоге свой выбор они остановили на Джоне Ростилле). Услышав аранжировку «Sunshine Superman», продюсер Микки Мост стал регулярно приглашать Джона Пола Джонса к участию в своих проектах (Том Джонс, Нико, Уэйн Фонтана, Walker Brothers и др.). «К 1968 году я выдавал по 50-60 аранжировок в месяц и начал чувствовать, что это меня убивает», — вспоминал Джон Пол Джонс.
Работая в студиях, Джонс время от времени пересекался с другим ветераном сессионной работы, Джимми Пейджем. К плотному сотрудничеству оба приступили в 1967 году, в ходе работы над альбомом «Little Games» The Yardbirds, к которым Пейдж присоединился в июне 1966 года. Зимой того же года, во время работы над «The Hurdy Gurdy Man» Донована, Джонс прямо заявил Пэйджу, что будет рад, если тот пригласит его в свой следующий проект. Несколько месяцев спустя The Yardbirds распались, оставив Пейджа и бас-гитариста Криса Дрейю с грузом гастрольных обязательств. Последний решил выйти из проекта и посвятить себя работе профессионального фотографа; Джонс тут же предложил себя на его место и был с готовностью принят. «Он имел настоящее музыкальное образование, генерировал блестящие идеи, так что я решил не упускать этот шанс», — вспоминал Пейдж. Как только к дуэту присоеднились Роберт Плант и Джон Бонэм, началась новая история: стремительного взлёта Led Zeppelin.
В течение многих лет Джонса принято было считать самым «малозаметным» участником квартета, однако это в большей части касалось его (сравнительно сдержанной манеры) поведения на сцене и в жизни. Вклад Джона Пола Джонса в музыкальное творчество группы не подлежит сомнению: важнейшие (с этой точки зрения) вещи — «What Is and What Should Never Be» и «Black Dog» (выстроенные на уникальных басовых риффах), «The Rain Song» и «Trampled Under Foot» (где его основным инструментом был меллотрон). Именно Джонс исполнил (записанную с троекратным наложением) партию блокфлейты в «Stairway to Heaven».
Как и Джон Бонэм, Джонс живо интересовался фанк- и соул-ритмами: экспериментальный подход ритм-секции к своему делу с самого начала выделял Led Zeppelin из общего числа «тяжелых» групп. В концертных программах основное пространство для клавишных импровизаций Джонса предоставляла композиция «No Quarter»: сюда он нередко включал фрагменты произведений классических композиторов (в частности, Рахманинова). На концертах Джонс обычно использовал бас гитары Alembic (приберегая Fender Jazz Bass для студийной работы). Кроме того, в его арсенале были необычная «тройная» (6 + 12 струн) акустическая гитара и мандолина.
Что же касается гастрольных эксцессов, то сам Джонс утверждал, что получал от гастрольного образа жизни удовольствие не меньшее, чем остальные участники; более того — «позволял себе многое, но действовал скрытно». Характерно в этом смысле высказывание Бенуа Готье (представителя Atlantic Records во Франции), который писал: «Самым мудрым участником Led Zeppelin был Джон Пол Джонс: он ни разу не попадался».
После появления песни «Royal Orleans» (из альбома Presence) возникли предположения, что сюжет ее — о человеке, который по ошибке «снимает» трансвестита, приводит его к себе в номер и засыпает с окурком в руке, вызывая пожар, — имеет отношение к тому, что реально произошло с Джоном Полом Джонсом в новоорлеанском отеле Royal Orleans. В 2007 году, отвечая на вопрос корреспондента журнала Mojo, Джонс подтвердил обоснованность этих предположений:
Трансвеститы были, вообще-то друзьями гастрольного менеджера Ричарда Коула: нормальные, дружелюбные ребята — мы познакомились с ними в баре. Никакой ошибки с моей стороны не было (это кое-кто другой, и в другой стране принял «транни» за девушку): мы со «Стефани» вполне осознанно оказались в моем номере, раскурили по косяку, я заснул с непотушенной сигаретой, а проснулся, когда вокруг уже суетились пожарные.
Участие в Led Zeppelin не мешало Джонсу продолжать карьеру сешшнмена. В 1969 он сыграл на бас-гитаре в альбоме «A Way of Life» вокальной группы The Family Dogg, в 1970 исполнил все партии клавишных на сольном альбоме гитариста Fleetwood Mac Питера Грина The End of the Game. В 1974 году соул-певица Мэдлин Белл пригласила Джонса аранжировать её альбом «Comin' Atcha». В качестве клавишника он участвовал в записи нескольких альбомов Роя Харпера и сотрудничал с Wings Rockestra («Back to the Egg»).
В числе исполнителей, с которыми сотрудничал Джонс после 1980 года, — Heart, Бен Э. Кинг, Foo Fighters, The Mission, Брайан Ино, Butthole Surfers. Несколько раз он записался в студии с Полом Маккартни и принял участие в создании саундтрека Give My Regards to Broad Street. В 1985 году по просьбе режиссера Майкла Виннера Джонс написал музыку к фильму «Scream for Help» (где выступил также в качестве вокалиста); в двух композициях здесь сыграл Джимми Пейдж. В 1994 году Джон Пол Джонс записал с Диамандой Галас альбом The Sporting Life, после с ней же провел большое турне.
Создав собственную студию Sunday School, Джонс занялся вокальной карьерой своей дочери, Джасинды Джонс (англ. Jacinda Jones). В 1999 году (на лейбле Роберта Фриппа DGM Records) вышел его первый сольный альбом Zooma, за которым последовал The Thunderthief. В гастрольных турне Джонса сопровождали Ник Беггс (стик) и Терл Брайант (ударные).
В 2004 году Джон Пол Джонс провёл гастроли с группой Mutual Admiration Society, образованной Гленном Филлипсом (в прошлом — фронтменом Toad the Wet Sprocket) вместе с музыкантами группы Nickel Creek. Он сыграл на альбоме In Your Honor (Foo Fighters) в двух треках: «Another Round» (мандолина) и «Miracle» (фортепиано).
В качестве студийного продюсера Джонс записал альбомы Children (The Mission) и Outta Sight, Outta Mind (The Datsuns). На концерте-трибьюте Сиду Барретту в Лондоне он вместе с Робином Хичкоком и Руби Райтом исполнил «Gigolo Aunt».
Начиная с 4 августа 2009 года Джон Пол Джонс — участник группы Them Crooked Vultures, о создании которой ходили слухи с 2005 года. Помимо него здесь играют экс-ударник Nirvana, фронтмен Foo Fighters Дэйв Грол, а также лидер Queens of the Stone Age Джош Хомм.