京兆武功（今陝西武功西）人。他五歲喪父，以後少年老成。在北周太祖時，襲其父爵為縣公。當時執掌朝政的宰相宇文護十分恐日後生禍牽連自己，所以逃入山中隱匿起來。後在其叔的勸請下回來，又出任車騎大將軍，以後周宣帝繼位更受重用。

此時北周楊堅為相，楊堅的親信高穎多次向楊堅推薦蘇威的賢能，遂受到楊堅召見，在長談之後楊堅對其十分欣賞。但不久蘇威聽到了楊堅要取周而代之之事，他又逃歸田裡。以後楊堅代周建隋，是為隋文帝，任命蘇威為兵部尚書。但蘇威上表請辭，隋文帝說：“自古以來具有大才才能堪大任，只有駿馬才能馳聘，而公有過人之才，不必謙辭。”蘇威這才上任。

當初蘇威的父親曾在北魏任度支使，因國用不足，不得不加重賦稅，受到世人的指斥。其父曾感慨說：“今逢亂世，軍國日用浩繁，賦稅繁多是不得已而為之，此作法應為治世所戒。而後世的君子又有哪個能做到呢？”當時蘇威聽後，常將完成父親這一遺願做為自己的責任。因此他擔任民部尚書後多次上奏請求減輕賦稅，隋文帝一一予以採納，並越來越受到隋文帝重用，不久隋文帝命他和高穎一起掌理朝政。

有一次蘇威進宮奏事，看到宮帳以銀為鉤，陳設華麗，就向隋文帝上奏說，皇帝為天下倡，應以節儉為美，隋文帝為之動容，馬上命人將宮中奢華陳設全部毀除。還有一次隋文帝對一人大怒，命人將其推出斬首，恰在這時蘇威進入。蘇威力勸，但隋文帝不聽，而且在盛怒之下，自己抽出寶劍要親自動手，蘇威上前以身體阻擋，隋文帝幾次想繞開，但都為蘇威所攔，氣得隋文帝甩手進入宮內。但過了一段時間，隋文帝將蘇威召入宮內，感謝他的諫阻使他沒有誤殺。並說：“有你這樣的忠君敢諫，我從此可以無憂了。”並對蘇威進行了重賞。此時蘇威身兼五職，受到有些官僚的嫉忌，但隋文帝不為所動，並進封蘇威為上柱國，大將軍，任尚書右僕射之職。

後隋煬帝繼位，昏庸無道，殘害功臣，高熲、賀若弼相繼被殺，蘇威也被罷職。以後又被任職為納言與大將軍宇文述、御史大夫裴蘊、內史虞世基、黃門保郎裴矩同掌朝政，被當時人稱為“五”之一。這時蘇威多次以老病請求退職，但未被隋煬帝同意。後隋煬帝被殺，蘇威又先後追隨宇文化及等。以後唐王朝建立，他請求入見秦王，李世民對他說：“你身為隋王朝宰輔，朝政素亂不能匡救，致使國破君亡，而又先後投靠李密、王充，無恥之及。”不久蘇威病卒。年八十二歲。