张国焘投靠国民党之后，蒋介石对他寄予了很大的希望。蒋介石曾派陈立夫同张国焘谈话，问他愿意做些什么工作？
张国焘表示希望由他出面创办一种定期的民办刊物，从思想理论上揭发共产主义不适合于中国，唤醒一般青年人的幻觉，使其迷途知返。唯缺乏资金，希望政府给以接济，并高度保密，否则非失败不可。
对于张国焘的这一想法，蒋介石因另有打算，没有同意。这时，国民党的一些特务组织也对张国焘颇感兴趣，希望能从张国焘的口中得到有关中共和八路军、新四军的情报以及中共地下党组织的线索。
CC系陈立夫、陈果夫很想让张国焘去工作，军事委员会政治部也说需要这样的人，胡宗南、康泽等也向蒋介石请求，让张国焘到他们那里工作。但是，蒋介石对于这些部门的请求，都没有答应。
到重庆以后，蒋介石给张国焘的工作做出了安排。蒋介石在接见张国焘时，指着站在身旁的戴笠，很客气地说：我想请张先生给他帮帮忙。
就这样，张国焘正式参与了国民党特务组织“军统”的工作。蒋介石还委任张国焘为军事委员会中将委员，但这只是一个空头衔。
张国焘到军统后，受到戴笠的重视。他主持所谓“特种政治问题研究室”，担任研究室的少将主任。为国民党特务组织策反中共人员出谋划策。他还主办所谓“特种政治工作人员训练班”，为国民党训练特务，专门从事反共的特务活动。
曾任军统总务处长的沈醉后来回忆说：戴最初对张国焘寄予极大的希望，满以为只要张肯卖一点气力，便可以把共产党搞垮。
张国焘说要办一个训练班，由他来培训一批专门人员，戴笠马上挑选各训练班毕业学生中最优秀分子送去给他训练。
他说要在陕甘宁边区设立一些策反站，戴笠马上照他计划办理。真是要人给人，要钱给钱。这时张国焘不仅是戴笠宴客时座上最受欢迎的佳宾，也是戴笠引为最得意的部属。
他每次请客准备邀张国焘去参加时，往往先告诉他的朋友，并且用很骄傲的口吻先向朋友们介绍说：“明天你来吃饭时，便可以看到共产党里面坐第三把交椅的人物了。”
张国焘虽然为军统培养训练了一大批专门对付共产党和边区的特务，但是能够派出去的并不多。
沈醉在谈到这一情况时说：“这个训练班的学生虽经戴笠亲自挑选，又由张国焘亲自主持训练半年，但训练期满后，经过张等考核，认为适合派往边区打进延安的还是不多，具体数目我不清楚。听说经过挑选，只有极少数的人派往张所领导的几个‘策反站’去工作，其余大多数派在蒋管区内的一些重要兵工厂担任‘防共’工作。”
即便是少数经过严格挑选出来的特务，派出去后也收效甚微。既打不进去，也拉不出来。戴笠想在延安设立一个延安站或延安直属组，张国焘用尽了一切办法，始终没有搞成。
张国焘派人手持戴笠的信件，到太行山区请第二十七军军长范汉杰帮助进入八路军第一二九师防区活动，结果不仅没有效果，反而连去的人也没有回来。
最后只能在国民党统治区的汉中设立一个特别侦察站，在榆林设立一个陕北站，在洛川设立一个延安站，并且没有多少作用。由于训练班的作用不大，使戴笠感到失望，所以只办了两期便停办了。
张国焘在军统期间，还接应过个别的共产党的叛徒。1939年，原红四方面军第九军军长何畏叛变。在张国焘叛党之前，何畏紧跟张国焘，犯过严重错误。
张国焘叛逃后，何畏步他的后尘，投奔国民党，被国民党特务机关扣押。在被扣押期间，何畏致函张国焘求救。
张国焘拿着何畏的求救函去找戴笠，乞求戴笠将何畏接到重庆来共商反共大计。戴笠虽表示同意，但仍拖了半年之久才将何畏释放。何畏见到张国焘后，也做起了国民党的特务。
张国焘还现身说法，劝说一些被捕的共产党员自首叛变，但常常不能如愿。沈醉曾回忆说，我亲自听到张国焘劝说过一位1942年在重庆南岸秘密逮捕到的地下党员。张国焘一开始就作自我介绍，使得对方为之一惊。
接着他就用连他那样有很高地位的“老党员”都不再当共产党而愿投向国民党等等一套无耻谰言，要求对方考虑。
但很出人意外，那位地下党员用很坚决的口吻回答说：“我不能这样做，死又有什么可怕！”张国焘最后也只好老着脸皮说什么“我是为了你好，你再仔细考虑考虑”。然后，他灰溜溜地走开。
张国焘的工作不见成绩，不禁使戴笠大为恼火。他有一次说：“校长(指蒋介石)对张来投靠，以为对延安是致命的打击，交我运用。几年来，大失所望，使我对校长难以交差。”这样，张国焘在军统的日子越来越不好过了。
失宠后的张国焘已没有往日的威风，有时出门办事也不得不坐起了公共汽车。在重庆期间，张国焘还通过同乡甘家馨的关系，认识了国民党中央组织部部长朱家骅。
经朱家骅推荐，张国焘被聘为“对共斗争设计委员会”的中将设计委员兼主任秘书。张国焘无功受封，引起特务们的嫉妒和不满。张国焘在这里仍是没有太多的事可干，他曾无可奈何地感叹：我“无计可设，无公可办，每日去坐一二小时，颇感无聊”。
有一次，朱家骅要张国焘转交给此时挣扎于贫病交加之中的陈独秀一张5000元的支票。对于这笔在当时是数目相当可观的款子，陈独秀拒绝接受，托人退还给了张国焘。对此，张国焘也无可奈何。
1945年5月，在国民党第六次全国代表大会上，张国焘被选为国民党中央执行委员会委员。8月，在日本投降前夕，蒋介石召见张国焘，让他草拟一个管理全国粮食和一般物价的方案。
张国焘到处搜集材料，连熬几夜，写出一份洋洋万言的方案。送给蒋介石后，就没有下文了。
1946年3月，戴笠乘坐的飞机撞在南京附近的江宁县板桥镇戴山，机毁人亡，军统也准备改组裁员。不久，军统改为国防部保密局，张国焘也趁机另谋出路。
他通过同乡、时任国民党中央设计局局长的熊式辉，向国民政府行政院善后救济总署署长蒋廷黻推荐，当上了善后救济总署江西分署署长和江西省临时参议会参议员。
张国焘一上任，就受到了江西省主席王陵基的排挤。原来，当年张国焘率红四方面军入川时，曾与田颂尧、王陵基交战川北。田、王损失惨重，大败而逃。王陵基因此被刘湘撤职，拘禁数月。
如今，张国焘虽然脱离了共产党，但王陵基旧恨难消。于是，他让部下对张国焘冷嘲热讽，蓄意刁难。不久，张国焘不得不离开江西，避居上海。、
1948年6月，不甘寂寞的张国焘筹集了约一百二十两黄金的经费，在上海施高德路办起了一个创进周刊社，出版《创进》周刊。这个周刊社的成员是临时凑起来的，总编辑是郑学稼。
开始，《创进》周刊并没有受到国民党的重视，所用纸张都是以市价购进。按照国民党中央宣传部的规定，凡从事反共宣传的报纸杂志，按月分配官价纸张。后来，张国焘托人向国民党中央宣传部部长黄少谷说情，《创进》周刊社才得以配给官价纸张。
《创进》在代发刊词中，以貌似公正的面目出现，标榜自己是讲“老实话”的，但在实际上，它不过是为国民党捧场和进行反共宣传的工具。
但是，战局的发展却不像《创进》周刊的文章所说的那样，经过辽沈、淮海、平津三大战役，人民解放军基本上消灭了国民党军队的主力，国民党的统治大势已去。
在这种形势下，国民党的许多高级官员纷纷逃往台湾。张国焘也惊恐不安，考虑自己的退路。这时，蒋介石指示国防部保密局局长毛人凤，要尽可能不让中共叛徒去台湾，要劝他们留下。
原因是共产党胜利了，中共叛徒决不会再死心塌地跟着国民党走，让他们去台湾，只能增加负担。蒋介石还特别指示毛人凤，让他劝说张国焘留下。
张国焘没有听从毛人凤的劝说。他把《创进》周刊停刊，于1948年11月携全家去了台湾。他当时或许没有想到，他这一去，就再也没有回来。
