С 13 лет Гловер увлекся рок-музыкой, начал играть на гитаре. Ещё в школе собрал свою первую группу — Madisons, которая позже слилась с другой местной группой и образовала Episode Six, где он подружился с вокалистом Иэном Гилланом.
После того, как участники тогда ещё малоизвестной группы Deep Purple Джон Лорд и Ричи Блэкмор, искавшие замену Роду Эвансу, который не вписывался в выбранный ими новый стиль группы, увидели Гиллана на одном из выступлений Episode Six, они предложили ему присоединиться к их группе, сменив Рода. Пробы Гиллана прошли успешно, и таким образом Гиллан летом 1969 года присоединился к Deep Purple, приведя с собой из Episode Six Гловера. Этот состав годы спустя стало принято считать «классическим», так называемый Deep Purple, Mark II (Иэн Гиллан — вокал, Ричи Блэкмор — гитара, Джон Лорд — клавиши, Роджер Гловер — бас, Иэн Пэйс — ударные). Позже Гловер вспоминал, что при встрече с участниками Deep Purple был напуган мрачностью участников новой группы, которые «… носили чёрное и выглядели очень загадочно».
Первой записью в составе новой группы стал сочинённый Джоном Лордом альбом Concerto for Group and Orchestra (в исполнении Deep Purple и Королевского филармонического оркестра), записанный на концерте в Алберт-холле 24 сентября 1969 года. После этого пошли «классические» альбомы: In Rock (1970), Fireball (1971), Machine Head (1972).
Последним альбомом Гловера, записанного в составе Deep Purple в 70-х годах, стал альбом 1973 года Who Do We Think We Are (названный так, потому что итальянцы, возмущенные уровнем шума на ферме, где записывался альбом, задавали повторявшийся вопрос: «За кого они вообще сами себя принимают?»). Ещё с 1972 года отношения между участниками группы стали сильно портиться, особенно между Гилланом и Блэкмором, которые вообще не переносили друг друга. А в 1973 году на старые разногласия внутри коллектива наложилась всеобщая неудовлетворённость последним альбомом, после чего участники группы разругались окончательно.
В декабре 1972 года менеджеры Deep Purple встретились с Джоном Лордом и Роджером Гловером и попросили их приложить все усилия к тому, чтобы сохранить группу. Те убедили остаться Иэна Пэйса и Ричи Блэкмора, уже задумавших собственный проект, но Блэкмор поставил перед менеджментом условие: непременное увольнение Гловера. Последний, заметив, что коллеги начали его сторониться, потребовал у Тони Эдвардса объяснений, и тот (в июне 1973 года) признался: его ухода требует Блэкмор. Разгневанный Гловер тут же подал заявление об увольнении. После последнего совместного концерта Deep Purple в Осаке, Япония, 29 июня 1973 года, Блэкмор, проходя мимо Гловера на лестнице, лишь бросил через плечо: «Ничего личного: бизнес есть бизнес». Гловер тяжело перенёс эту неприятность и в течение трёх последующих месяцев не выходил из дома, отчасти — из-за обострившихся проблем с желудком. Сразу после ухода Гловера группу покинул Гиллан, после чего группа оказалась на грани развала.
После выздоровления Гловер сконцентрировался на продюсерской деятельности, продюсировал такие группы как Judas Priest, первые работы Whitesnake, Nazareth, Michael Schenker Group и Elf. Также записал 2 сольных альбома — Butterfly Ball (1974) и Elements (1978), после чего в 1978 году неожиданно для многих стал участником группы Rainbow — группы своего бывшего коллеги по Deep Purple Ричи Блэкмора, из-за разногласий с которым, собственно, в 1973 году её и покинул.
Предполагалось, что Роджер станет продюсером следующего альбома Rainbow, но вскоре Блэкмор предложил ему стать бас-гитаристом группы. Роджер Гловер:
Я больше не хотел играть в группах, когда покинул Deep Purple. Когда я пришёл в Rainbow, то подумал: «Боже, я же не собираюсь снова это делать!» Но, увидев играющего Ричи, я сдался… Хотя у Rainbow были потрясающие живые выступления, столь же потрясающе малыми были продажи их записей. Rainbow была обречена. Хотя Полидор продавал немало записей Ричи, этого не хватило, чтоб удовлетворить его. А посему жить группе больше не полагалось. Моей задачей, чтобы спасти Rainbow, было придать музыке хоть немного коммерческую направленность, больше мелодичности и поменьше агрессии, демонов, драконов, ведьм и прочей нечисти. Больше простых вещей вроде секса, секса и ещё раз секса.
Не очень понятно, почему Блэкмор поменял мнение о Гловере и как им удалось забыть старые обиды, но Гловер записал с Rainbow 5 альбомов и оставался с ней до прекращения её существования и реформирования Deep Purple в 1984 году в «классическом» составе. С 1984 года Гловер опять выступает в составе Deep Purple, иногда выпуская сольные и сайд-альбомы.
В свои 65 лет Гловер всё также неунываем и молод душой и телом: 19 мая 2011 года Роджер вновь стал отцом. У него родилась дочка, которую назвали Melody.