趙廣漢為政廉明，執法公正，鐵面無私，就連皇親國成、高門權也不相讓起初，趙廣漢曾在霍光門下效力。

霍光位居大將軍，女兒為皇后，多年掌握朝政，權勢無比顯赫。其家族在朝廷居要職者甚多常有不法犯奸之事。霍光死後，其子霍禹（封博陸侯）私營酒業，大發橫財。廣漢發現後，親自帶著官吏，直奔其門而入，衙役們各處搜尋，還打破了盛酒的缸壇，最後“斧新其門關面去”。家通次大辱十分惱怒，告知福皇后，皇后又向漢帝哭訴其事。

音當然同情霍家，遂即召問廣漢。廣漢雖然沒有受到責詞，但“由是侵犯貴戚大臣”，終於走上了失數的道路。一些高官購成子孫，新進青年官更，以年少氣盛，“無所迴避“，見事生風，推改助測，紛藉口向廣漢發難。廣漢的一些過失，他們更是抓住不放，攻其一點不及其餘。於是，趙廣漢與費族權門勢力，展開了激烈的鬥爭。

先是，趙廣漢懷疑榮畜加害自己，“後以它法論殺畜”。有人向皇帝上書，告發廣漢枉法殺人。宜帝命相御史進行審理。相魏相對此事“案驗甚急”。於此同時，廣漢也派出親信，充當丞相的看門人，讓他暗中查訪丞相府中不法之事。恰在地節三年（公元前67年）七月中旬，相府一女婢自絲而死，廣漢懷疑為丞相夫人因爐忌而殺害。

當時魏相有事外出，廣漢派人通報魏相，要向其夫人窮追此事的原委。魏相不同意，廣漢即上書皇帝，告發魏相有罪。宣帝頒制，“下京兆尹治”。廣漢領了皇帝的聖旨，擔心遷延時日發生變故，“遂自將吏卒突入丞相府，召其夫人跪庭下受辭”，後又“收奴婢十餘人去，責以殺婢事”。

魏相向皇帝上書陳說：“臣妻確實無殺女婢。趙廣漢數次犯罪至今不伏法，反以詐巧之術脅迫於臣，面臣寬容不曾上奏。願指派廉明使者，査清廣漢查臣之家事。皇帝又指令廷尉進行清查。結果，查明女婢有過，在受到魏相責打後，回到自己房中自絞身亡，並非如廣漢所言，為丞相夫人迫害致死。

廣漢的反對者，乘機對他大加攻擊。眾口難辦，連素稱賢良正直的司直官蕭望之也隨聲附和了，効奏說：“廣漢推辱大臣，欲以劫持奉公，逆節傷化，不道。”宣帝更是真假不分，是非不清，對廣漢產生了厭惡之情，下詔將廣漢關入廷尉的大獄。廷尉以趙廣漢捕錯殺無辜，判案“故不以實”等數罪併罰，判處極刑。

宣帝批准了廷時的上奏。訊息傳出後，長安吏民到皇官為趙廣漢鳴冤，“號泣者數萬人”。有的官員十分懇切地請求說：“願代趙京兆死，使得教養小 民。”但是，宣帝未聽從民意，＂廣漢竟坐腰斬”。

歷史是公正的，蒙塵不會持久，真相必將大白天下。著名史學家班固，在其所撰《漢書》中，為趙廣漢立傳，詳記生平事蹟，並讚揚說：“廣漢雖坐法誅，為京兆尹廉明，威制豪強，小民得職。百姓追思，歌之至今。”