张汤出生在陕西杜陵，他的父亲是长安县县令。有一次父亲有事外出，还是孩子的张汤，被留在家里看家。
父亲回家后发现老鼠偷走了家里的肉，一怒之下，痛揍张汤一顿。又冤义恨的张汤，掘开鼠洞用烟熏出了老鼠，逮住了偷肉的老鼠，并且找出了吃剩的肉。张汤历数老鼠偷窃的种种罪状，拷打审问，并且写下审问记录，记明了审问经过和判决程序，最后还把偷盗的盗鼠和剩下的肉作为证据，连同审判案卷，一同陈列在厅堂上。父亲见到这番情景，看到张汤写下的判决书的文辞像老练的法官一样，感到非常惊讶。此后，发现张汤这一特长的父亲，就让他学习刑狱文书。
父亲死后，张汤担任了长安县的县吏。周阳侯田胜任九卿的时候，曾一度被关在长安监狱，张汤竭尽全力庇护他。周阳侯出狱后，被封与侯爵。对张汤满怀感激的周阳侯，让他结识了许多有权有势的人。
才能出众的张汤在他人的推荐下，被调任茂陵尉，主持陵墓的土建工程。武安侯担任丞令时候，调张汤担任秘书，并且还把他推荐给了皇帝，担任了侍御史。在处理陈皇后巫蛊案时，张汤深入追究党羽，在这一案件中进一步显示了才干，深得皇上赏识，被晋升为太中大夫。
张汤和赵禹共同制定国家的各种法令，目的是通过严酷的法律条文，严格约束在职的各级官吏。不久，赵禹升至少府，张汤也升任了廷尉。两人的交情非常好，张汤对待赵禹犹如兄长一般。赵禹为人廉洁倨傲，而张汤却喜欢玩弄权术来统领别人。起初，他当上了小官，就为了货物的买卖，与长安的官商田甲、鱼翁叔等人形成了甚密的私交。等到他升到九卿的高位，就开始结交全国的知名人士、官宦，虽然，内心与他们的意见并不相同，但却又假装推重他们。
当时皇上非常喜好儒学之术。因此，张汤在判决时，就想附会古义。为了表明这一点，他延请博学之士研读《尚书》《春秋》，让他们出任官吏。在上奏判决疑难案件时，他一定要预先给皇上分析各方面的缘由，凡得到皇上肯定的，他就作为依法判决的案例将其列为法规成文，以此来宣扬主上的圣明。上报的案例判决如果受到谴责，张汤就认错谢罪，并顺从皇上的意向，举出一些有贤能的官吏说：“他们本来向我提出建议，正像皇上要我做的一样。但是，我并没有采用，所以才愚蠢到了这种地步。”就这样，他的过错常常得到皇上的宽恕。
张汤禀奏案件时，皇上赞许哪个奏章，他就说：“我写不出这样的奏章，这是正、监、掾、史中某某人写的。”他想要推荐部下，宣扬他的长处或者掩饰他的短处，也是这样。在办理案件时，如果皇上有意加罪，他就把案子发给执法苛刻的官吏办理；如果皇上有意宽容的，他就把案子交给执法宽松的官吏；所审判案子如果是豪强的，他就会利用各种法律技巧严加惩办；遇上贫穷人家遭到审判，虽然判决符合法律条文，皇上也已经裁定的，最后也会按照张汤的解释处理。
张汤虽做了大官，但是却非常注意个人的内在修养。对过往的宾客，款待饮食。对于老朋友子弟、官吏以及贫穷的本族兄弟，都照顾得非常优厚。他前去问候前辈，从不避严寒酷暑。因此，张汤虽然施法严厉，而且不是完全公平处事，但是却得到了一些好名声。苛刻的官吏多为他的爪牙，很多有学识的人也多依附他。丞相公孙弘多次称赞他。
在查办淮南王、衡山王、江都王谋反的案件时，他深究根源。皇上想要赦免严助和伍被，但是，张汤却力主严办，对皇上说：“伍被策划造反，严助深得皇上宠幸，是出入宫廷内府的心腹臣子，然而他却私通诸侯，像这样的人不杀掉，以后就无法杜绝这样的事情。”于是，皇上同意了对他们的判决。
张汤利用办理的各种案件不断强化自己的地位，不久就升任了御史大夫。当时，正好是浑邪王等投降之际，汉朝大规模出兵讨伐匈奴，山东地区又遭受水灾、旱灾，贫苦的百姓流离失所，生活全靠县府的赈济，此时国库已经非常空虚了。这时，张汤顺承皇上的心意，奏请铸造银币和五铢铜币，垄断了全国的食盐和铁器的经营，排挤富商巨贾，并且颁布了一系列的法令，锄除豪强大户，以扩大国家的经济收入。
张汤每次上朝奏告，说到国家的经济困难，时间都拖得很长，以致皇帝忘了吃饭。这时的丞相之位已经形同虚设，国家大事都取决于张汤。地方官吏治理无道，兴办的事业，均无获利的，而且用各种办法鱼肉百姓，造成了民不聊生的局面，不断出现各种骚动。张汤通过法律手段加以从严惩治，将一大批贪官绳之以法，因此，公卿以下的官宦都纷纷指责张汤。但是，这时张汤的地位已经非常显赫，一次张汤患病，皇帝竟然亲自前去探视。
有一次匈奴人前来请求和亲，大臣们在皇上面前讨论。主张和亲的狄山说：“和亲合适。兵器是凶器，不宜频繁地动用。高皇帝想征讨匈奴，却被围困在平城，于是被迫和亲。惠帝、高后时期，全国安定和乐。文帝想要对付匈奴，北方边境异常萧条，人民苦于战争。景帝时期，吴、楚等七国叛乱，景帝在两官之