范质的父亲范守遇，任郑州防御判官。范质出生那天傍晚，他的母亲梦见神仙授给她一支五色笔。范质自幼聪明好学，九岁能诗文，十三岁攻读诗经，十四岁开始招生收徒做教师。后唐长兴四年(933年)，考中进士，被任为忠武军节度使推官，后迁升封丘令。手握五彩神笔，历经后唐至宋的五朝名臣，范质依唐朝旧例，科考放榜以考官当年及第名次为重，和凝当初以十三名及第，亦取范质为十三名。后来，范质与和凝一样做到宰相，范质还受封国。因此受到时人的赞誉，称之为“传衣钵”，可谓一时之佳话。后晋天福年间，范质用文章游说宰相桑维翰，桑很器重他，即上奏封他为监察御史。后桑维翰出镇相州时，请求朝廷让范质给他当从事。桑维翰第二次任宰相，范质迁升为主客员外郎。一年多后，召范质入朝任翰林学士，加任比部郎中、知制诰。
后汉初，加封范质为中书舍人、户部侍郎。
郭威征伐叛乱时，每次朝廷派遣使者下诏处理军事，都符合机宜。郭威问使者是谁起草的诏令，使者答称是范质。郭威叹道“真是宰相之材啊！”郭威从邺地起兵攻向皇宫，京城纷乱，范质藏匿民间，郭威派人到处寻找，后来找到，非常高兴，当时正下大雪，郭威解下自己的袍衣让给范质穿。并命令范质起草太后诰命及商议迎湘阴公礼节，范质急速起草，很合郭威心意。于是，郭威告诉太后，任命范质为兵部侍郎、枢密副使。后周广顺初年(公元951年)，郭威加拜他为中书侍郎、平章事、集贤殿大学士，第二天，又拜他兼任参知枢密院事。郊祀完毕后，升迁为左仆射、门下侍郎、平章事、监修国史。跟随郭威征伐高平回来，加官司徒、弘文馆大学士。
范质入朝为官后，仍手不释卷。有人赞赏，他说“有相士说我今后位登宰相。如果真是这样，不学习哪来权术处理政事。”柴荣(郭威养子，即周世宗)征伐淮南，诏令多由随征的范质起草，吴中文士们没有不惊服的。范质每次下制敕，从未不合律令。朝廷每次派遣使者视察民田，巡视狱讼，范质都接见他们，向他们说明天子忧虑勤政的意图，
显德三年(公元956年)，大臣窦仪跟从柴荣进攻南唐，柴荣因为他饷馈不继，打算治他的罪。范质入宫求见，柴荣知道他是来救窦仪的，站起来避开他。范质上前说“窦仪是近臣，过错很小，不应当诛杀。”于是，摘下官帽，叩头泣奏，说“臣位在宰相，难道能让人主暴怒，致使近臣就死吗？请求宽赦窦仪的罪过。”柴荣怒气这才稍有消解，便遣使者赦免窦仪。
显德四年(公元957年)，范质跟随柴荣征伐寿州回来，提出因为法律条例繁冗，轻重没有依据，官吏得以因缘为奸。柴荣特命他详细审定法律，这就是大宋律的前身--《刑统》。显德六年(公元959年)，柴荣北征，范质因病留在京师，柴荣赐钱百万就医买药。柴荣平定关南，到达瀛州时，范质站在路的左边迎接。回京后，柴荣任用枢密使魏仁浦为宰相，任命范质与王溥一同为参知枢密院事。柴荣病重，范质入宫接受临终遗命，成为后周顾命大臣。柴宗训即位，加封范质开府仪同三司，封为萧国公。
赵匡胤陈桥兵变还都，范质正在办公楼中吃饭。赵匡胤赶到宫中，范质率王溥、魏仁浦拜见。赵匡胤对他呜咽哭泣，陈述拥戴被逼之状。范质等还未对答，军校罗彦环便举着刀对范质比划着说“我们没有主上，今天必须得到一个天子。”范质走下殿廷，握住王溥的手说“仓促遣将，是我们的罪啊！(指不明契丹侵边真相，仓促派赵匡胤领兵出征，为陈桥兵变提供了条件)”指甲掐得王溥的手几乎出血了。并当面质问赵匡胤“先帝对太尉您就像对自己儿子一样，现在他尸骨未寒，您怎么可以这样做？”虽然在一旁的赵匡胤之弟赵匡义也泪流满面，但范质知道大势已去，便说“事已至此，就不要太仓促了，自古帝王有禅让之礼，太尉可以举行禅让大典。”并叙述典礼程序，接着又说“太尉既然准备通过礼仪接受禅让，就应该侍奉太后如母，赡养少主如子，千万不要辜负先帝旧恩。”赵匡胤当即挥涕许诺，然后在范质、王溥等百官的拥戴下登基，范质继续当宰相。
接着范质加官兼侍中，不久，他病了。恰逢赵匡胤要去征伐叛乱，特到他府第赐金二百两、银一千两、绢二千匹、钱二百万，以便延医用药。
赵匡胤甫即位，诸事谦逊自抑，以至藩镇、亲属没有封建，幕府宾客佐僚还没有官位。范质因此上奏说“自古帝王开创基业，都分封子弟，树立屏障，宗族亲属一旦兴隆，国家就可长久巩固。皇弟泰宁军节度使赵光义，自从在军队中任职，特别有将才，树立为藩镇后，尤能积累名望;皇弟嘉州防御使赵光美，雄俊老成，注重修养好行善，好声誉日有所闻。乞求一并颁发封册，赐给爵位。皇子皇女虽然尚幼，也请下诏让有关部门推行恩封之制，这是我的愿望。臣又听说当宰相的，应当推举贤能之人，来辅佐天子。我认为端明殿学士吕余庆、枢密副使赵普精通治国之道，事从霸府，时间很久，其公忠之志，可为倚靠。请授予他们要职，使他们的才能得以发挥。”赵匡胤很赞许并采纳了他的意见。
原先，宰相朝见天子商议重大政事，皇帝必对宰相赐茶告坐后面议，唐朝及五代都遵照这个制度。范质等人因畏惮赵匡胤，每次议事都写成公文进呈，并陈述说“这样做才算臣子禀承圣意，免除妄庸的过失。”赵匡胤采纳了这个建议。因为此后奏章越来越多，赵匡胤便废除了坐论的旧礼。轶闻说为了免除宰相与皇帝平起平坐的旧礼，赵匡胤趁范质转身取奏章时，命卫士撤去座位，从此，宰相就无法与皇帝平起平坐，坐而论道了。
乾德初年(公元963年)，赵匡胤将在圜丘祭天，任命范质为大礼使。范质与卤簿使张昭、仪仗使刘温叟讨论旧的典章制度，审定《南郊行礼图》呈上。赵匡胤特别嘉奖他们。从此礼仪制度开始完备。礼仪完毕后，进封范质为鲁国公，范质向赵匡胤呈表再三推辞，赵匡胤不允许。
乾德二年(公元964年)九月，范质去世，终年五十四岁。
范质以廉洁耿介自持，从未接受各方人士的馈赠，前后的优厚俸禄及赏赐，常常送给孤寡之人。死后家里没有多余的钱财。侄子范杲曾上奏请求迁升秩阶，范质作诗晓谕，时人广为传诵。
范质临终前，告诫儿子范昱，不要向朝廷请赐谥号，不要刻墓碑。赵匡胤听到这件事，为之感到悲痛而罢朝。追赠中书令，送绢五百匹，粟、麦各一百石，给范家办丧事。
