朝与边通三个长史原来的地位都很高，所以就经常欺负和压制他们三人。因此，三位长史便对张汤怀恨在心。
惨遭报复
陷害李文被查
赵王刘彭祖以张汤身为大臣不仅亲自探望生病的下属鲁谒居，甚至还自降身份为鲁谒居按摩腿脚为由，怀疑张汤私下和鲁谒居一起做过大坏事，并且要求此事交由廷尉审理。当时的鲁谒居因病而亡，于是此事便牵连了鲁谒居的弟弟，鲁谒居的弟弟被拘禁在了导官署候审。有次张汤到导官署审理别的囚犯，由于他想要暗中帮助鲁谒居的弟弟，所以表面上需要避嫌，因此连看都没去看鲁谒居弟弟一眼。然而不明真相的鲁谒居弟弟却因为这事而误会张汤，并因此而怨恨上了张汤。于是，鲁谒居的弟弟检举了张汤与鲁谒居私下谋划，匿名告发陷害李文之事。这个案子由咸宣办理，而咸宣先前又与张汤有过嫌隙，因此在这个案子上咸宣一查到底，不过当时他并没有上报。
遭人设计报复
朱买臣、王朝与边通三人合谋在丞相庄青翟面前指责张汤，说张汤在文帝陵被盗一事上不仅出卖庄青翟，而且还落井下石，明显是要取代庄青翟的丞相之位。同时他们三个还表示已经掌握了张汤的一些不可告人的罪证（指张汤与富商勾结，利用职务之便谋取钱财），可以惩治张汤。于是，丞相庄青翟与三名长史便派人逮捕并审理了与张汤有勾结之嫌的富商田信等人，并以此为依据，指控张汤将国家政事透漏给田信等富商，使田信等人能提前预知政策动向，然后囤积物资，谋取财利。除此之外，他们还记录了张汤很多其他的罪行。皇上听说了这事之后，就不动声色的与张汤进行讨论，他表示自己的很多决策商人都能预先知晓，就好像是有人将自己的想法提前告诉了那些富商一样。对此，张汤不但没有谢罪，还伪装成非常惊讶的样子，表示一定是有人（朝臣）向富商透漏了消息。而就在此时，先前负责查办张汤与下属鲁谒居合谋陷害御史中丞李文一案的咸宣上奏报告了张汤的罪行。于是，汉武帝便认定张汤心怀巧诈，竟敢当面欺骗君王，同时派了八批使者按记录在案的罪证审问张汤。
狱中自尽
面对审问，张汤坚决不承认那些被记录的罪责，于是皇上便派赵禹去审问张汤。赵禹向张汤表示，汉武帝并不想让张汤下狱，只是因为张汤得罪了太多人，他们都拿着证据来状告张汤，想要致张汤于死地，因此皇上也很为难，所以让张汤自己想办法平息此事。也就是说，由于指控张汤的人太多，所以不管张汤认不认罪，都难逃一死，此刻的张汤若再想着澄清自己的冤屈已没有任何意义。汉武帝元鼎二年（公元前115年）冬，听了赵禹的话之后，张汤选择了自杀，临死前写下了谢罪信，在信中指出阴谋陷害自己的罪人是三位长史。”
死后留名
张汤死时，家里的总资产不超过五百金，而且还都是平时的俸禄与皇上所赏赐之物，并没有其他的产业。张汤的兄弟与儿子想要厚葬张汤，但是张汤的母亲却表示反对，她认为，张汤是天子的臣子，现在遭受恶言诬告而死，没有厚葬的必要。于是就用牛车拉着棺材，没有外椁。皇上听说了这个情况之后，感叹说正是因为有这样（正直清白）的母亲，所以才能够生出这样（清廉）的儿子。于是对张汤被告的这个案子进行深究，把那三个长史全部杀了，丞相庄青翟也因此自杀，富商田信则被无罪释放。后来皇上怜惜张汤，于是慢慢地提拔了张汤的儿子张安世，张安世在后面被封富平侯。
作法自毙者，从古至今，不知凡己，何其可悲。