房玄齡自幼就很聰明，他博覽經史，工於草書隸書，善寫文章，曾跟隨父親前往京城。當時天下安寧，大家都認為隋朝國運長久。房玄齡避開左右對父親說：“隋朝皇帝本無功德，只會迷惑黎民，不作長遠打算。他混淆嫡親和庶出，讓他們互相爭奪，皇太子與諸王，又竟相奢侈，早晚會互相殘殺。靠這些人國家將難以保全，現在天下雖然清平，但其滅亡卻指日可待。”房彥謙聽後很吃驚，從此對他刮目相看。房玄齡十八歲時，本週舉薦他應進士考，及第後授羽騎尉。吏部待郎高孝基有知人之明，見到房玄齡後深加讚歎，對慇矩說：“我閱人無數，還未見過這樣的郎君。他日必成大器，但恨我看不到他功成名就，位高凌雲了。”後來，房玄齡的父親久病百餘日，他盡心侍奉藥膳飲食，總是和衣而睡。父親去世後，他曾五天不吃不喝。後來房玄齡被任命為隰城縣縣尉。

李淵舉義旗入關內後，秦王李世民率軍向渭北拓地，房玄齡驅馬前往軍營。李世民一見房玄齡，如同舊友相逢，屬任他為渭北道行軍記室參軍。房玄齡既遇知己，就竭盡全力，知無不言。每當討伐賊寇時，眾人都競相搜求珍玩，惟獨房玄齡先去網羅人才，送到秦王幕府。遇有猛將謀臣，他就暗中與他們結交，使他們能盡死力。

不久，太子李建成見秦王偉德功業比他更盛，產生猜忌。秦王曾到太子住所吃飯，中毒而歸。秦王幕府人人震驚，但又無計可施。房玄齡對長孫無忌說：“現在怨仇已成，禍亂將發，天下人心無主，各懷異志，災變一作，大亂必起。不但禍及幕府，還怕會傾覆國家，在此關頭，怎能不再三深思呢！我有計，不如準從周公誅殺兄弟的故事，就能對外撫寧天下，對內安定宗族社稷。古人曾說“治理國家的人不能顧及小節”，說得就是這個道理。這比家國淪亡、身敗名裂不是要好的多嗎？”長孫無忌回答：“我也早有這種打算沒敢披露出來。您現在所說的，與我的想法深深相和。”長孫無忌於是入見秦直王獻策。李世民召來房玄齡對他說：“危險的徵兆已呈現跡象，應該怎麼辦呢？”房玄齡回答說：“國家遭逢患難，古今沒什麼不同，不是英明的聖人，不能平定它。大王功蓋天地，符合君臨臣民的預兆，自有神助，不靠人謀。”

房玄齡在秦王府十餘年，每當撰寫奏章時，他駐馬路邊，一蹴而就，行文簡介，道理充分，不打任何草稿。高祖李淵曾對侍臣們說：“此人深知事理，完全可以委任。每當他代秦王向我陳述事情，我就像與我兒子對面談話一樣。”太子李建成看到房玄齡、杜如晦被秦王信任，十分厭惡，便在高祖面前進讒言。於是房玄齡與杜如晦一起被貶斥。

後來，李世民命長孫無忌召來房玄齡和杜如晦，悄悄帶他們入府議事，幫助自已成功策劃玄武門之變，人主東宮成為皇太子。為了感謝房玄齡的協助，太宗提拔他為太子右庶子。貞觀元年，又升任中書令。太宗論功行賞，以房玄齡、長孫無忌、杜如晦、尉遲敬德、候君集五人為第一。房玄齡晉爵邢國公。太宗對諸位功臣說：“朕獎勵你們的功勳，給你們劃定封邑，怕有不當之處，現在你們可以各抒己見。”太宗叔父淮安王李神通進言說：“高祖剛舉義旗，臣就率兵趕到。現在房玄齡、杜如晦等一幫刀筆吏功居第一，臣有些不服。”太宗說：“義旗初舉，人人追隨，叔父雖然舉兵前來，但不曾身經戰陣。山東沒有平定時，叔父受命出征，竇建德南侵，叔父全軍覆沒。劉黑闥叛亂，叔父隨軍前往，方才破敵。房玄齡等有運籌帷幄之策，安邦定國之功。漢朝的蕭何，雖然沒有徵戰的功勞，但他指揮謀劃，助人成事，因此功居第一。叔父是皇家之親，對你的確沒有什麼可以吝惜，但朕卻又不可因此私情而讓你與功臣接受同等的賞賜。”於是，李神通也不再說什麼。居功自傲的將軍丘師利等，聽到太宗重賞房玄齡等人，有的便挽袖指天，以手劃地，陳說怨憤，等見到李神通理屈後，他們便互相議論說：“陛下賞賜極為公正，不徇私情，我等怎能妄加陳述呢？”

貞觀三年，太宗任命房玄齡為太子太師，房玄齡堅持不受，改任代理太子詹事、兼吏部尚書，後又代替長孫無忌任尚書左僕射，改封爵為魏國公，併兼修國史。房玄齡既已總管百官事務，就虔誠恭謹、日夜操勞，儘量做到事事處理恰當。聽到別人的長處，就像自己有長處那樣高興。他精通吏事，審定法令建線，被人為良相，有時因事被上指責，他就連日在朝堂上磕頭請罪，惶恐不安，似無地自容一般。

貞觀十三年，太宗加封房玄齡為太子太師。房玄齡表示，若要自己接受先要解除尚書左僕射的職務，太宗下詔書說：“選用賢能的根本，在於無私；侍奉君上的道義，責在當仁不讓。你若拘泥這點小事，難道就是平常所說的輔佐朕共定天下嗎？”房玄齡不好再推遲，只得帶官加任太子太師。

後來，房玄齡的女兒封為韓王妃子，兒子房遺愛娶高陽公主，實在是顯貴一時。他自己又官居宰相達十五年之久，於是多次請求辭官。太宗下詔寬慰，但並不批准。貞觀十七年，房玄齡和司徒長孫無忌的畫像被永久地刻在凌煙閣上，並讚詞：“才能兼有辭藻，思慮化入神機。為官勵精守節，奉上進忠忘身。”