张学良一生结过三次婚，原配夫人是于凤至，第二个夫人是谷瑞玉，第三个夫人是赵一荻，即赵四小姐。人们都知道于凤至和赵四小姐，对谷瑞玉知之甚少。于凤至聪明伶俐，文采出眾。在张家大院的小一辈女人中，于凤至最受张作霖重视，不仅由于她品貌出眾，还因为他十分珍视同她父亲于文斗的旧谊。当初张作霖上门提亲时，张学良在奉天(渖阳)求学，追求他的高官之女甚多，他对出身低微的于凤至根本看不上，便在奉父之命相亲时，写了一首《临江仙》词嘲讽她，暗示于家巴结自己家。于凤至当即回敬了张学良一首《临江仙》。张学良读罢大吃一惊，同意迎娶于凤至。与张学良结婚以后，于凤至为了在张家立足，坚决要求进入东北大学读书深造。
谷瑞玉，人称「随军夫人」，1904年2月出生于天津杨柳青的大户人家。1922年7月，谷瑞玉出席家宴时有幸与张学良结识。谷瑞玉天生丽质，通晓英语。一年之后，谷瑞玉任张学良的英语翻译，二人感情日笃。1924年9月，第二次奉直战烽火再起。谷瑞玉在前线陪伴张学良度过了最困难的时刻，迎来了东北军的最后胜利。张学良与谷瑞玉相恋的情况传到张作霖的耳朵里，他只好默许。1924年10月，张学良与谷瑞玉在天津结婚。
1928年2月，张学良升任第三方面军团总司令，驻防保定。谷瑞玉独自居住在津门，学会了跳舞、泡酒吧等，经常打麻将至深夜，还经常到北京听戏数日不归。数月后，张作霖在皇姑屯遇难。在秘不发丧期间，谷瑞玉未经许可独自返回渖阳，引起了日本关东军的注意。日本报纸称张作霖在皇姑屯必死无疑，否则一向与大帅府关系并不密切的谷瑞玉是不会在张学良不在奉天的情况下独自返回关东的。
随后，谷瑞玉与张学良的裂痕越来越大。1928年冬天，奉系旧军阀杨宇霆等阴谋取代张学良。杨宇霆千方百计收买谷瑞玉，张学良曾提醒她别上杨宇霆的当，她却我行我素。12月，杨宇霆假藉为父祝寿为名，请谷瑞玉与张学良来家赴宴。张学良随谷瑞玉前往后，险遭到日本浪人的暗算，幸亏于凤至早已识破杨宇霆的图谋。张学良对谷瑞玉的误解更深，婚姻名存实亡。1931年1月，张学良与谷瑞玉解除了婚姻关系，在天津英租界为她购买了一幢小楼房，又给了她10万元生活费。
赵一荻原名赵绮霞，原籍浙东兰溪，1912年出生于颇有名望的官宦之家，因在家中排行老四，被称为赵四小姐。赵四小姐十分美貌，冰雪聪明，十四五岁就成为《北洋画报》的封面女郎。1927年，赵四小姐在天津的舞会上认识了张学良，两人一见锺情。随后，张学良一有空閒就和赵四小姐散步、聊天、打球、下棋、谈论新诗。父亲赵庆华知道女儿与有妇之夫在一起，一气之下将赵四小姐软禁起来。在六哥赵燕生的帮助下，赵四小姐与家人不告而别，去东北投奔张学良。赵庆华从此辞离仕途，退隐而居。
赵四小姐以张学良秘书的身份搬进帅府后，非常感激于凤至的宽厚仁德，对她更是恭顺敬重。二人和睦相处，情同姐妹。1929年，赵四小姐为张学良生下了唯一的儿子张闾琳。「西安事变」后，赵四小姐陪张学良开始了漫长的幽禁生涯，二人相依为命。幽禁期间，张学良作出了痛苦又无奈的决定，和于凤至解除婚姻关系。于凤至回信，却满纸都是对张学良和赵四小姐的祝福。1964年3月，二人离婚。1990年1月30日，于凤至去世。1964年7月4日，张学良与赵四小姐正式结婚。2000年6月22日，赵四小姐病逝于美国夏威夷。2001年10月14日，张学良也在美国夏威夷病逝，享年101岁。
