吳用原本是山東濟州鄆城縣東溪村私塾先生，自幼結識了晁蓋。得到了劉唐的報信，就說服了三阮，應了七星聚會，協助晁蓋等人智取了梁中書給太師蔡京獻壽的十萬貫生辰綱，為躲避官府追緝而上梁山泊。到梁山以後，他智激林沖火併王倫，扶持晁蓋作頭領，開始了自己的“軍師”的生涯 。宋江因題反詩被判死刑時，他讓戴宗傳假信，不成後參與了謀劃劫法場，救出宋江後來投奔梁山。宋江入夥後，又扶持宋江，使宋江坐穩梁山二把手地位，並逐漸架空晁蓋的權力 。

梁山三打祝家莊時曾多次失敗，吳用雙掌連環計，讓孫立等人深入祝家莊，裡應外合攻破莊院。宋江鬧華州時，他又出計用宿太尉金鈴吊掛，救出了史進和魯智深。呼延灼用連環馬公的梁山時，又派時遷等人計誘徐寧上山，打敗呼延灼 。晁蓋徵曾頭市被毒箭射中身亡後，幫助宋江成為山寨之主，改聚義廳為忠義堂。後扮算卦道人，計誘盧俊義上山，同時散佈盧俊義已經投降梁山的虛假訊息，盧俊義被抓後，攻打大名府。期間又收服關勝。最後，吳用在元宵節令時遷等進入大名府放火，攻取大名府，收服盧俊義 。

吳用與宋江合梁山兵馬攻打曾頭市，收服鬱保四，用反間計誘史文恭偷襲，攻破曾頭市。大聚義排列位次時，坐第三把交椅，任梁山掌管機密軍師。後多次協助宋江爭取招安時機，也指揮了戰勝高俅、童貫的戰役 。梁山起義軍受朝廷招安後，吳用又佐宋江、盧俊義征伐遼國、田虎、王慶和方臘等，被朝廷封為武勝軍承宣使。後因宋江被害，深感朝廷奸佞當道，恐刑戮及身，並忠於宋江，與花榮一同自縊於楚州南門外蓼兒窪宋江墓前，屍身葬於宋江墓側 。

吳用，在《宣和遺事》作“吳加亮”，此處“加亮”的“亮”，即與傳統文化圈裡的諸葛亮的“亮”是靈犀相通的，即此“亮”就是彼“亮”。在龔聖的《宋江三十六贊》中，吳用作“智多星吳學究”，並有贊：古人用智，義國安民。惜哉所予，酒色粗人。但作品中還沒有提到“吳用”這個名字。這兩部文學作品都被認為是《水滸傳》的雛形或藍本。《明史·楊維楨傳》提到楊維楨、陸居仁、錢惟善逝世後相鄰而葬，墓葬合稱“三高士墓”，與小說結尾吳用、花榮自縊於宋江墓前，葬於蓼兒窪的情節相似，《水滸傳》可能借鑑了這一事件，而陸居仁就是小說中的吳用 。