廊护栏均为中式，室内装潢却为西式。公馆底楼设的秘密通道直通嘉陵江边，紧急情况下可开启逃生，只是现在的曾家岩151号已作为巴渝文化区被重新修葺一新。当年，戴笠与余淑衡相好后同居于此时，两人可是打得火热。
在与原配妻子生活时，戴笠就曾背着妻子在外面花天酒地。元配妻子叫毛秀丛，是一位缠过足的农村姑娘，与戴笠生下独子戴藏宜，在戴笠得志后遭嫌弃。毛秀丛发现戴笠乱搞女人还染上性病后，一气之下回了浙江江山老家，再也没有与戴笠讲过一句话，直至1939年去世。独身的戴笠更加肆无忌惮，四处猎艳。
1938年10月底武汉沦陷后，戴笠到重庆主持军统局工作，办公地点在罗家湾军统局本部。住地有曾家岩151号(现中山四路85号)、上清寺康庄3号两处。前者对外称为戴公馆，后者是从鲜英家租借的。到重庆后，戴笠在认识影后胡蝶之前，对中央政治大学外语系学生余淑衡宠爱有加。余淑衡是湖南人，大学毕业后，于1938年进入军统在重庆举办的外交训练班学习。因其长相出众，成绩优秀，鹤立鸡群，兼任班主任的戴笠一眼就看上了她。余淑衡毕业后，戴笠把她调到身边当秘书，以掩人耳目。戴笠与余淑衡相好后，同居于曾家岩151号，两人如胶似漆，难舍难分。
戴笠甚至取了一个化名叫“余龙”，他讨好地对余淑衡说：“我取这个名字，表示我很愿意做余家的乘龙快婿。”
原歌乐山“山洞新生路”4号，位于现“山洞平正村”5号附近，周边环境主要有林森题字“小陪都”、“陪都雨两江(根)情”雕塑。听得当地一位吴姓老太太说，新生路4号大概为从平正村路口右边算起20-100米范围之间的地方。因为城市的日新月异，当时的场景已完全被淹没。那时的杨虎公馆为一楼一底，石木结构，坚固耐用。因西南多雨，屋顶为坡面，覆以青瓦。山洞公路上达歌乐山，下通沙坪坝文化区。胡蝶借住此地时还经常去文化区参加文艺界的聚会。
戴笠与余淑衡的关系原本正火热，可惜后来余去美国留学，两人的风月之事无疾而终。恰在此时，戴笠听说影星胡蝶到了重庆，他曾看过不少胡蝶主演的影片，不禁想入非非。此时的胡蝶，虽已嫁为人妇，却仍然美貌绝伦。
戴笠先找来早年在上海结识的密友唐生明帮忙。唐的老婆徐来也曾为影业界的演员，还是胡蝶的好友。徐来愿意为戴笠牵线搭桥，却因她要跟随被调往上海做秘密工作的丈夫前行而将此事耽搁下来。之后，戴笠更是利用其职务特权派军统局特工四处打听，得知胡蝶借住在曾任上海警备司令的杨虎家，地点为歌乐山山洞新生路4号。杨虎的老婆林芷茗是胡蝶的童年伙伴，亲密无间。戴笠又转而请杨虎夫妇帮忙。正是在杨虎家，戴笠初次见到胡蝶，惊为天人。
他知道胡蝶生性傲慢，想要“泡上”她，需要等待好机会。戴笠懂得把握时机的重要性。
机会来了。原来在抗战爆发后，胡蝶夫妇曾迁居香港，不料1941年底香港也沦陷。日军当局企图拉拢中国知名人士，胡蝶还因此遭到威逼利诱。于是，她决心逃往内地。在走之前她委托友人杨慧敏将其细软运回内地，自己则与丈夫轻装前往。到重庆后不久，在杨慧敏的来信中，胡蝶得知所托物资在经过广东东江时遭到土匪抢劫，片缕无存。胡蝶心痛许多纪念品，闻讯伤心欲绝，一病数日……为寻回原物，胡蝶托了几个朋友帮忙。听说戴笠有办法找回珠宝，胡蝶便硬着头皮与其交往。戴笠一听此事，心下大喜，当即答应帮助破案。
戴笠马上派人前往湖南株洲，将杨慧敏逮捕押回重庆，监禁在石灰市稽查处看守所。对于胡蝶遗失的东西，他按胡蝶的描述，派人去国外购置，然后谎称追回了一部分财物。胡蝶见过世面，一看这些“追回”的珠宝、衣物虽不是原物，但款色更新，价值更贵，于是对戴笠说了许多感激话。戴笠因此赢得胡蝶好感，并经常去山洞杨虎家，时有酒局、饭局应酬。
神仙洞公馆曾被划为市博物馆办公用房，后来又移交给了市文化局，如今已装修一新，风格保持不变。楼房青砖砌墙，爬满手指粗的藤蔓。大门采用罗马柱，两只石墩已经风化。屋内上朱红油漆的柏木铺就地板和楼梯，栏杆上刻饰精细，每层楼梯口和单个房间均设拱形木门。大门前是一方小院，青石板地面长着一株直径约1米的黄葛树。
如今，这栋4层中西合璧式青砖洋房总是让人们抱着对当年戴笠与胡蝶的想象。
胡蝶在电影界的名望甚高。1935年11月，她与丈夫潘有声在上海汉口路大教堂举行盛大结婚仪式，电影界知名人士袁美云、顾兰君、林楚楚、黎铿等人前去祝贺，一时满城争说，盛况空前。凭着往日盛名，胡蝶来渝后很快被中央电影摄影场录用，主演影片《三个女性》和《建国之路》，经常出入上流社会，一露面则万人争睹芳容。想要真正得到她，还得下功夫。
为了争夺胡蝶，戴笠使出了浑身解数，他首先从胡蝶的软肋下手。胡蝶最急需的是房屋，她寄住的杨虎家虽说环境条件不错，毕竟不方便。当时陪都人口剧增，房荒严重，有钱也租不到合适的房屋。
据说戴笠为胡蝶修建了好几处住所，其中居住时间最长的当属神仙洞。戴笠从四川军阀王陵基手中得到了枇杷山神仙洞的地皮，大喜过望，随即忙着准备建造一座西式别墅。他令手下人到水泥厂、钢铁厂强购钢筋水泥，又从滇缅路运来大理石材等装修材料，紧急开工。军统总务处长沈醉为了讨好戴笠，逼迫工人通宵达旦赶工。短短几个月，一幢西式别墅横空出世，矗立在神仙洞。1944年初公馆建好后，戴笠又花1万多银元购置花木植于园中。公馆内所有服务人员都是他从浙江江山老家招来。
为了保密，戴笠在公馆外围修建围墙和电网，设置岗亭。这里面临长江，背靠枇杷山，风景绝佳。别墅客厅有西式壁炉，上面横挂着一幅油画，整套进口牛皮沙发呈八字分开，背后有一架蓝色的钢琴。窗外是滔滔长江，帆影点点，室外还有花木和小径。戴笠将别墅作为礼物送给胡蝶。胡蝶前来，看到华屋美景，心已先醉，向戴笠连连道谢。戴笠更称赞胡蝶是天上的神仙下凡，就该住在神仙洞。胡蝶迁入新居，戴笠三天两头来拜访，每次都送厚礼。随着胡蝶对戴笠感激、报答之情日深，两人也开始秘密同居。
在此之前，他曾将胡蝶藏在杨家山公馆里。事实上，戴笠在重庆有多处公馆和别墅，除曾家岩、上清寺康庄两处外，在沙坪坝缫丝厂杨家山、嘉陵新村半山坡、松坡林等地均有，这与他神秘的日常生活不无关系。杨家山公馆偏处郊区，也正好掩人耳目。他还为胡蝶在公馆前修了一座花园，与胡蝶在这里同居时，每天早晚总陪她到花园里散步。
胡蝶的丈夫潘有声是个生意人，戴笠为了打发他，特意送他一张滇缅路通行证，让他外出做生意。潘有声经常跑生意，日进斗金，戴笠则乘虚而入，日夜偷欢。但是，世上没有不透风的墙，潘有声听到风声后非常生气，从外地归来后直奔罗家湾军统局本部找戴笠讨说法。接连去过几次，不但每次都吃闭门羹，而且连胡蝶住哪里都不知道。戴笠派秘书王汉光当说客，让其拿着大面额支票与潘有声谈交易。
作为一代色魔，戴笠对胡蝶倾注了满腔的爱。自从得到胡蝶后，他奇迹般地一改过去到处追逐女人、渔猎美色的行为，同时也解开了还系在余淑衡等人身上的袅袅情丝。也许，面对着美貌绝伦、聪明伶俐、善解人意、柔情万种而又闻名遐迩的一代红星，戴笠心满意足了。
抗战胜利，戴笠准备与胡蝶正式结婚，嘱咐胡蝶飞往上海，先与潘有声办理离婚手续，潘有声迫于权势，只得同意与胡蝶解除婚姻关系。但由于戴笠飞机失事摔死，这一计划未能如愿。胡蝶则与潘有声一起，神不知鬼不觉地离开上海再次迁往香港。
