劉邦小時候也讀過一些書，但他絕非本分的讀書人。他性格豁達粗獷，待人寬厚。平時很少參加家庭農業生產，他的父親曾為此多次責備他。到青年時代，秦始皇已經統一全國，他透過考試當上了秦的泗水亭長，並與郡縣小吏關係非常親密。但他這時也成了一個酒色之徒。後來被他封為齊王的大兒子劉肥的母親曹氏當時就是他的外婦。

儘管劉邦在生活上有失檢點，但胸懷大志。有一次，他押送伕役到首都咸陽，正碰上秦始皇出行，看到秦始皇威風凜凜地坐在儀仗護衛的車中，他便讚歎說：“唉，大丈夫就應該像這個樣子！”

從咸陽回來後不久，劉邦就結了婚。妻子是單父（今山東單縣南）人呂公的女兒。呂公原來不住在沛縣，因為和沛縣的縣令關係好，為躲避仇家而搬到沛縣。呂公剛到沛縣時，縣裡的豪傑吏曹聽說他是縣令的貴客，都來拜賀。當時蕭何在沛縣任主吏，他主辦宴會，向來客宣佈：“凡賀禮不滿一千錢，都坐在堂下。”劉邦也是賀客之一，他根本沒帶錢，卻對傳達說：“我賀錢一萬。”傳達去告訴呂公，呂公急忙親自下堂迎接。呂公看到劉邦後，覺得他相貌氣度非凡，對他十分敬重，就拉他入席就坐。酒後，呂公示意劉邦留下，提出願意把自己的女兒嫁給他。這對劉邦來說是求之不得，因此和呂公的女兒就成婚了。呂公的這個女兒就是後來歷史上著名的呂后。她為高祖生了一兒一女，女兒後來稱魯元公主，兒子就是漢惠帝。

劉邦成家後，為了照顧家庭，不得不常常告假回家幫著幹一些農活。有一次，呂后和女兒正在田中薅草，一個過路老人因向呂后討水喝，便恭維說，他們都生得“貴相”。老人走後，劉邦也來到田中，呂后把相面之事告訴他，他馬上追上那位老人，請他也為自己相面。老人說：“剛才你夫人和兒女所以是貴相，就是因為像你，你的相貴不可言。”劉邦聽了非常高興，他對老人道謝說：“如果真像你老人家所說那樣，我一定不會忘記你的大德。”秦王朝末年，秦始皇修驪山墓需要大批勞力，劉邦受命以亭長身份押送刑徒到驪山。在押送的路上，刑徒們紛紛逃亡。

劉邦估計到了驪山，這些刑徒差不多要跑光。一天，走到豐邑西邊的大澤裡，停下來休息時，劉邦喝多了酒，仗著酒勁就把刑徒身上的繩索解開，對他們說：“你們都逃命吧，我也從此逃亡了！”當時有十幾個刑徒願意跟著劉邦走，劉邦就連夜帶著他們從大澤裡逃亡。當時他命令一個人在前面探路，這個人很快回報說：“前面有一條大蛇擋在路上，我們還是回去再找路吧。”劉邦這時已經醉得不行，他大聲呵斥說：“我們勇士走路，怕什麼！”於是他衝到前面開路，拔出劍把那條蛇一斬兩段。又走了幾里路後，劉邦酒性發作，在路旁躺下。後面的人走到蛇死的地方，看見一位老太婆在痛哭，問她為什麼哭，她說：“有人殺了我的兒子。”又問：“你的兒子為什麼被殺？”她說：“我的兒子是白帝的兒子，他變化成蛇，橫在路上，剛才被赤帝的兒子斬殺，我所以哭。”人們當時都以為這個老太婆是說胡話，就想拿她開心，可是老太婆卻突然隱身不見了。後來的人繼續向前走，碰到劉邦，他的酒已經醒了，於是他們把此事告訴了他。劉邦心裡暗喜，並以此自恃，使得那些跟從他的刑徒對他更加敬畏。