灌夫本姓張，因為父親曾侍奉灌嬰，得到他的賞識，被舉薦為官，所以便改姓灌。當初侯國反叛時，灌嬰隨周亞夫出征，而灌夫也隨父進入軍隊，參與平叛。由於父親當時年老，作戰時常心力不足，不久就戰死。這時，根據軍中法令，父子參軍，若有一人捐軀，則另一人可將其送回家鄉安葬。然而，灌夫拒絕了，他揚言要擊敗叛軍以作為復仇。他找了幾十個願與他攻打叛軍的隨從，然後闖進敵方營地，斬殺不少敵軍。

等回到漢營後，灌夫身負重傷，隨他去的侍從全部戰死。幸好軍中有治傷的上好藥材，他才保住了性命。然而就在他傷勢漸好的時候，灌夫又主動提出再去攻打叛軍，還說自己已經弄清了敵軍營地的分佈。士卒們都敬重他不怕死的氣勢，但是又擔心他真的去送死，就上報給周亞夫。最後，在周亞夫的阻止下，灌夫這才沒去拼命。

在叛亂平定以後，灌夫的名聲也逐漸傳開，受到灌嬰的舉薦，灌夫到朝中擔任中郎將。可惜沒過多久，灌夫犯下過失，被免了官，但是仍然有很多官吏貴族都同他交好。武帝即位後，派灌夫駐守淮陽，淮陽在當時是聯絡西方的要地，可見灌夫的能力還是很受武帝重視的。不久，灌夫又被調回朝中。一次，灌夫與一位官吏飲酒，醉酒後把那人給打了。恰好那位官吏是外戚，武帝怕太后怪罪，灌夫性命不保，就把他調到外地去了。

沒過幾年，灌夫又犯了事，官職被削，他就返回家中。灌夫家裡積累不少錢財，常宴飲賓客，然而這些財富都是他在家鄉四處搜刮搶奪來的。由於沒了官職，來拜訪灌夫的人也越來越少，當時因為太后去世而失去權勢的竇嬰，與灌夫處境頗像，竇嬰想打擊曾經投奔他的賓客，而灌夫則想著抬高自己的名聲，於是兩人就結為一起。在竇嬰還在喪期時，灌夫到權臣田蚡府上拜訪，田蚡答應他說第二天會去探望竇嬰。

灌夫回去後就把他的話告訴了竇嬰，於是竇嬰全府上下都準備就緒，等待田蚡到來。然而到第二天時，田蚡把隨口應下的決定給忘了，還是灌夫到他府上把他接來，之後又在酒席上羞辱他。從這件事開始，灌夫就對田蚡有了嫌隙。後來，田蚡想奪竇嬰的田產，雙方又起了矛盾，彼此怨恨更深。

後來，田蚡就上書武帝，說灌夫的族人在家鄉胡作非為，讓武帝清查。而灌夫也知曉了田蚡的秘密，兩方為此進行爭吵，經人勸說才有所緩和。不久，田蚡成親，舉辦宴會，竇嬰和灌夫也受邀前往。就在這場宴會上，灌夫在宴會上就敬酒的問題大鬧，徹底得罪了田蚡。之後灌夫就被治罪判刑，竇嬰想救他沒救出來，灌氏被滅族。