顾维钧一生经历了四次婚姻。1909年与从小订亲的张润娥小姐举行结婚仪式。但是顾维钧对这位小姐没有丝毫的感情，婚后两人实际上从未同居过，顾维钧认为他们之间只有兄妹之情没有男女之爱。1911年，顾、张两人协议离婚了。
顾维钧的第二位夫人是国务总理唐绍仪的第五个女儿唐宝玥，他们于1913年6月结婚，两人是基于自由恋爱基础上的一段美满婚姻。但是这段婚姻就像昙花一现，留给顾维钧无限的凄怆和悲伤。1918年10月唐宝因患西班牙流感，在美国突然病故。这次婚姻为顾维钧留下儿子顾德昌和女儿顾菊珍。
1920年10月21日，顾维钧与“爪哇糖王”黄仲涵的女儿黄惠兰在布鲁塞尔的中国使馆举行婚礼。顾黄两人的婚姻维持了三十九年，于1959年离婚。在这期间，黄惠兰育有两子，顾裕昌和顾福昌。
顾维钧的第四位夫人严幼韵，祖籍浙江宁波，出生于一个上海富商的家庭，是沪上著名的绸缎庄“老九章”的后裔。年幼时，严幼韵曾在天津中西女校毕业，因此说得一口流利的国语；后来转入上海复旦大学读书。改嫁顾维钧之前，严幼韵是中国前驻菲律宾总领事杨光泩的遗孀。严幼韵1950年代曾在联合国任职，顾维钧当时正任驻美“大使”，近在咫尺，周末度假常来常往，终于从相识相知到相爱，1959年结为百年之好。幼韵女士和顾维钧结婚后，治家相夫，她不仅是个好管家，更是个笑口常开、温柔抚爱的好护士，对顾维钧的照顾可谓是无微不至。
顾维钧在96岁高龄时完成了他的回忆录，这与他夫人严幼韵女士的大力协助是分不开的。顾维钧原先喜爱钓鱼，这确是一种平心静气的休息养神办法，后因年迈不宜远行，就改为玩麻雀牌消遣，并藉以与朋友欢叙。严幼韵每周都要安排一桌牌，来个8圈10圈，尽管顾维钧十有九输，但每次他总是十分高兴。老年人惧怕孤独，因此夫妻俩都喜欢请客，大宴小宴不断，由严幼韵操持，顾维钧招待，边吃边叙，其乐融融。难怪顾维钧常说他的健康有三要素：散步、少吃零食、太太的照顾。就连顾维钧的大儿子德昌也不得不承认，如果没有严幼韵，他父亲恐怕要缩短二十年的寿命。
夫人严幼韵在照顾他的日常起居生活时，就很注意安排他的卧室和寝具。她为顾维钧选择的床铺高度以他上床时不费力、下床时伸腿可够着鞋为度，长度超过顾维钧身长30厘米左右。顾维钧睡的是木板床，上面铺6厘米至9厘米厚的垫子。这样人体各部位自然下垂，并且可以和床面接触吻合。卧榻铺上厚的棉垫能适应睡眠者的身体表面曲线的需要，保持脊柱的正直和正常的生理弧度，对睡眠、健康都有好处。在对枕头的选择上，严幼韵也是颇费了一番苦心。首先，不让他睡高枕头，中国俗语说“长寿三寸，无忧四寸”。意思是枕高三寸有助于延年益寿，枕高四寸可以高枕无忧；顾维钧枕的是菊花枕，菊花枕具有醒脑明目、祛风清热的作用。
顾维钧晚年习惯晚上11点睡觉，第二天早上10点起床。夫人严幼韵唯恐他从晚餐后到第二天早餐之间的十多个小时内不吃东西，对健康不利，因此规定他每天清晨5点醒来后，要喝一杯牛奶，吃一点点心，再继续睡觉。而夫人每天凌晨3点必先起床，把热好的牛奶放在保温瓶里，然后连同一张“不要忘了喝牛奶”的字条一起搁在顾维钧的床头。等翌日起床，再去房间看他是否把牛奶喝了。
晚年住纽约时，厨师穆怀明夫妇有了一个女儿丽莎。顾维钧虽儿孙满堂，但分住各地。这个小丽莎就成为顾维钧夫妇的宠儿，顾维钧读书之余，常与这个会说汉语和英语的小机灵鬼一起玩耍。九十大庆时，他把丽莎抱到膝上，接受宾客祝贺。宾客还以为这是他的曾孙女呢。
