在小說中，程咬金是一介莽夫，出身也不是很好，在小說《隋唐演義》中，程咬金的絕學三板斧還是在睡夢中學會的，但因為記憶力不好，需要先說名字，才會想起招式，後人管他的招數叫“三斧子半”，後演變了歇後語“三道板斧——只會幾招”。

《說唐全傳》小說裡，程咬金家中窮的叮噹響，老母親又體弱多病，全家人就靠著程咬金在集市上賣竹筢子維持生計，有一個叫尤俊達的強盜就拉攏程咬金與他一塊搶皇綱，隋煬帝的皇綱在押運途中有三次是被程咬金所截，因而就有了“半路殺出個程咬金”。

歷史上的程咬金真是出身貧困的莽夫嗎？程咬金墓被髮掘後，專家發現了一塊石頭，程咬金家族的秘密重現於世。1986年，考古人員對程咬金墓進行了發掘工作，雖然程咬金的墓已經被盜賊光顧過，但專家還是發現了一塊非常有價值的石頭。

這塊石頭就是程咬金的墓誌銘，明確記載了程咬金的身世、家族，顛覆了以往人們對程咬金的認知，墓誌銘中記載：“曾祖興，齊兗州司馬；祖哲，齊黃州司馬”，講的是程咬金的曾祖在北齊任職兗州司馬，而祖父也在北齊任職黃州司馬，都屬於地方上的中高居官員。

另外，墓誌銘上寫有“父婁，濟州大中正”，程咬金的父親也擔任了不小的官職，由此程咬金是出生在官宦家庭，世代都有做官的，家中自然是不窮的，不過程咬金選了一條和祖輩完全的道路，程咬金家中大多是文官，程咬金卻十分喜愛習武，心中想的是帶兵打仗。

但程咬金認為王世充太過狡詐，得知唐軍後歸附了西魏名將李虎的孫子李淵，李淵讓程咬金等人跟隨了兒子李世民，李世民早已聽聞程咬金的威名，讓程咬金當了左三統軍，成為了唐朝的開國大將。

公元626年，玄武門之變，程咬金參與其中，程咬金官升遷到右武衛大將軍，享受實封七百戶，後程咬金一路官升，可見程咬金絕非是一介莽夫，還是一個頗懂為人處事的人物，麟德二年二月七日，77歲高齡的程咬金於自己的私宅中去世，葬於九嵕山之原。