父亲年纪轻的时候喜欢赌钱，赌到什么地步？他和第一个太太结婚的那个晚上还出去赌，那时他需要钱给兄弟，本来是寄希望能赌博赢一点，没想到输个精光，结果把前楼太太结婚的衣服全都拿去当掉了。还有一次他在澡堂里赌，赌得连衣服全当光，最后还是青帮头子黄金荣的太太拿着衣服把他救出来的。父亲年轻时这种荒唐事还是很多的。
父亲出身贫寒，我的祖父母很早去世了，他早年就成了孤儿，后来靠在水果店里帮工来谋生。我想父亲之所以能脱颖而出，是靠义气。在那时的中国社会里，“义”字很重要。他出手大方，人家没钱了他给钱，兄弟没钱了他散财。父亲的门客很多，有的自己有职业，有的是靠我们家吃饭。比如说在恒社的人都拜我父亲做先生，他们每人都有本身的生意，就是建起一个关系来。他们没有严密的组织形式，但是由我父亲来挑选人。这些人拜我父亲做先生的时候，还是有这种江湖的气味，帮会习性。我没有见过他们加入帮会的场面，在公共场合，他们就像是普通的宴会一样，大家在一块吃饭，说说笑笑。
其实父亲从来不是上海滩最有钱的人，但给人的感觉是他名气最大，在上海他也能够控制一些东西。父亲的一个观念是不做官，像他那样很早就闯荡江湖的人，很注意结交各方关系。在租界里他认识很多人，比如说那时候法租界的巡捕房最高的警官和翻译叫张翼枢，普通人都不知道这个人，父亲与他是非常好的朋友，所以别人有什么事情在租界里都托父亲去打招呼。
说父亲是“青红帮老大”是历史事实，但称父亲为黑帮老大，我不太同意。青红帮是非常时期非常特别的一个产物。正式的青红帮并不是打打杀杀，而是讲做生意你要在“帮”，当时如果不在“帮”，你就没有保护人，休想在上海滩混。还有，赌博和抽大烟也是当时的一种社会风气。在老公馆，有父亲比较要好的客人来，第一件事情就是先上烟，这好像是个规矩。但是拿现在的社会观念来讲，这就是犯法。我知道父亲是一个很复杂的人物，我不想为他辩解什么，只是觉得，应该把他放在当时的历史条件下来看待他。
现在很多人喜欢把父亲与黄金荣、张啸林放在一起，把他们并称“上海三大亨”。黄金荣和张啸林我都见过。我对黄金荣印象不深，我见他时，他大概60多岁了，那时人家还是叫他黄老板，还是很威风的。父亲与黄金荣的关系后来有点复杂。黄金荣发家早，因为早期在帮会里，他辈分很高，而我父亲辈分很低。但是黄金荣到了30年代名气就不大了，父亲远远超过了他，他有点嫉妒父亲，所以不太愿意来往。但是表面上大家还一团和气，过年过节互相送东西。
多面的父亲
父亲小时候因为家境贫寒，没怎么受过教育，所以对我们的教育看得特别重要，一定要让我们在尽可能范围内受到最好的教育。杜家的家教非常严，尤其是对男孩子。有一次大哥逃考，被他狠狠打了两个耳光。在家中，父亲的严厉具体是通过母亲执行的。有一次，姐姐英语没考好，母亲打了她10鞭子。
父亲对文人一直有一种向往，也对他们很敬重。他结交了很多文化名人，很多文人也都成为他的私人律师或座上客。民主革命家章太炎与父亲的私交甚好，1930年父亲在家乡买了50亩地，造了“杜氏家祠”，章太炎不但为杜家编了家谱，还写了洋洋千言的《高桥杜氏祠堂记》。杜家祠堂建成那天，包括蒋介石、淞沪警备司令熊式辉、上海市长张群等要人都送了牌匾，场面很大。
章士钊曾做过教育总长，后来又在上海做大律师，所以那时他们的交往比较多。章士钊算是父亲的私人律师兼参谋。很早以前，毛泽东要送很多共产党员到巴黎去，找到章士钊帮忙，章士钊又来找我父亲要钱。父亲觉得各方面的人都要结交，求到门下就要帮一下。
父亲发达后，江湖上一些事情他就让别人出面去做，与早期的兄弟也保持了一点距离，而他更多做一些公益和慈善。每有灾害发生，父亲一定出面组织赈济。
父亲的老家在上海浦东高桥，每年夏天他都要从药房买大量的“痧药水”、“诸葛行军散”，送到高桥，挨家挨户免费送发，这个举动坚持了好多年。
不论对父亲有何评价，有一点是公认的：在民族大义上，他从来没有动摇过。父亲反日的立场是始终没有改变的，我想这一点跟帮会有关系，老一代帮会里的人对日本人有仇恨，帮会里有很多观念也传袭下来。但最主要的是，父亲有一个很强烈的“中国人”的意识，所以他非常恨日本人。
