建安十六年(211年)，刘备受邀进入西川，张裕作为益州别驾从事陪同刘璋到涪城接见刘备，侍坐在一旁。张裕脸上有着浓密的胡须，刘备就嘲笑他说：“昔日我居住在涿县，特别多姓毛的，东西南北都是毛姓，涿县县令称他们说‘这不是诸毛绕涿居吗’！”张裕听后立即反嘲说：“昔日有一位担任上党郡潞县长，后来被升迁为涿县县令的人，辞官还家，当时有人给他写信，想要署名称呼他为潞县县长，但这样一来就漏了他涿县县令的称呼;想要署名称呼他为涿县县令，但这样一来就漏了他潞县县长的称呼，于是特别称呼他为‘潞涿君’。”刘备没有胡须，所以张裕用这来讥讽他。
建安十九年(214年)，刘璋投降了刘备，刘备自领益州牧，大肆擢用刘璋部下文武官员，让他们人尽其能，张裕也被任命为州后部司马。
建安二十三年(218年)，刘备想要跟曹操争夺汉中，张裕劝谏说：“您不可以去争夺汉中的，大军前去一定会遇到不利的。”刘备最终没有采纳张裕的劝谏。果然，得到了汉中而未得汉中的百姓。派遣去攻打武都的吴兰、雷铜二位大将也都全军覆没。
张裕私下里对人说：“岁在庚子，天下当易代，刘氏祚尽矣。主公得益州，九年之后，寅卯之间当失之。”有人秘密的将他的言论告诉给刘备。刘备本来就对当初张裕的骄横在内心里感到不满，现在更加生气他的言论，于是将张裕谏不可争汉中之事公诸于众，将他捉拿下狱，将要诛杀他。诸葛亮上表请求免他一死，刘备回答说：“芳兰生门，不得不除。”(比喻贤能之士生性抗直，时有违迕，为上者将不能容忍，势必去之。)张裕于是在闹市被执行死刑并被暴尸街头。
