他的尚书府任参军。隋文帝命蜀王杨秀、上国虞庆则等人调查，事情全属实。隋文帝把《宋书》中《谢晦传》里的有关朋党的文章让苏威读。他非常恐惧，脱下帽叩首。隋文帝说：“谢罪已经晚了！”于是，下令免去他的官爵，让他以开府的份回家。朝中知名的人士受苏威牵连的有一百多人。不久，隋文帝说“：苏威是一个有德的人，只是他被别人蒙蔽了。”命将他的名字记在皇门外。

一年多后，他恢复爵位为丕阝公，被封为纳言。跟随隋文帝到泰山祭祀，坐罪不敬被免去官职。不久又恢复官位。隋文帝对群臣说：“人们说苏威假装清廉，实则家中有许多金玉，这是毫无据的说法。然而他的情凶狠暴戾，不切实际，追求功名的心情太重，对顺从他的人就喜，违背他的人就记恨，这是他最大的缺。”仁寿初年，又任命他为尚书右仆。隋文帝到仁寿，任他为总留事。隋文帝回来后，御史奏劾他多有失职。隋文帝发怒，质问并指责他，他连忙谢罪，隋文帝才止息怒火。

炀帝即位，准备大举修复长城，苏威谏劝阻。赹、贺若弼被朝廷诛杀，他也被牵连免去官职。过了一年多，被任命为鲁郡太守，特许他排列仪仗。不久将他召回朝廷，授予太常卿。他跟从征讨吐谷浑，晋位为右光禄大夫。一年多后，又任纳言，与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，人们称他们为五贵。炀帝征讨辽东，他以原来的官职兼右武卫大将军，被晋为光禄大夫，赐爵为房陵侯，不久晋爵为房陵公。他以年老为理由提辞职，未被允许。

杨玄反叛，炀帝将他召军帐中，脸上现恐惧的颜，问他：“这个小很聪明，能不能造成大的祸患？”他回答：“疏的人并不聪明，您千万不要忧虑。只是怕今后蔓延成为祸的源。”他见不断劳役百姓，人人思，因此想劝谕炀帝，炀帝竟不醒悟。

隋军征辽返回，来到涿郡，朝廷命他到关中安抚百姓，让他的孙尚辇直长苏儇他的副手。他的儿鸿胪少卿苏夔这之前已任关中简黜大使。一家三人都使关中，三秦之地的百姓都替他们到荣耀。过了一年多，炀帝亲手写诏书说“：玉因洁净而泽，红和紫也不能改变她的品质；松靠寒冷衬托，严霜冷雪不能凋谢她的风采。真可称得上温和仁厚刚劲正直，本使她们成为这个样啊。房公苏威，是前后两代帝王的旧臣，朝中的元老，国家的栋梁。他辅弼我治理朝政，奉公守法，屈遵礼。过去汉代的萧何、张良、韩信三个英杰，辅助惠帝的是萧何；西周有十位治理世的名臣，帮助成王治理朝政的是邵公。国家最珍贵的宝就在于得到贤能的人才。他理一切事都公允恰当。虽然多次凭借事情论述理，都能毫无保留地提自己的意见，权衡事情的轻重，都以朝廷为重。可授予开府仪同三司，其余官职不变。”他当时受到朝廷的重视，朝臣们没有能与他相比的。

后来他跟随炀帝到达雁门，炀帝被突厥人包围，朝廷十分震惊。炀帝想轻骑突围而去，他劝谏说：“守城池则我们绰有余力，轻骑奔驰则是敌方的特长。陛下是大国的君主，怎么能轻易离去？”炀帝才停止突围的念。突厥人不久也撤围离去。炀帝到达太原，苏威认为盗贼不断没，劝炀帝返回京城，以便为了国家培植本。炀帝开始同意，后来竟听从宇文述等人的建议，便驻跸东都。这时天下动，他知炀帝已不能救正，因而甚为忧虑。一次，炀帝问盗贼的情况，宇文述答：“盗贼的确很少，不足为虑。”苏威不能违心回答，便躲在后面。炀帝喊着他的名字询问，他说：“我不是负责这方面职责的，所以不知盗贼的多少，只是忧虑贼寇离我们越来越近。”炀帝问“：是什么意思？”他回答“：过去贼寇占据长白山，现在已近在荥、汜了。”炀帝不兴地退去。五月五日这一天，百官馈赠给炀帝的礼大多是珍奇玩好，苏威却献上《尚书》一，略加讽喻。炀帝意更不平。后来又问他讨伐辽东的事情，他都对答：“希望大赦天下盗贼，派他们去攻打丽。”炀帝更加恼怒。御史大夫裴蕴迎合炀帝的旨意，命御史张行本弹劾苏威过去在铨选官吏，滥授官职，惧怕突厥，请求返回京城等罪状。炀帝命审理这件事，便下诏说：“苏威树立朋党，喜好异端，中常怀诡诈，贪取名利，诋毁律令，污蔑朝廷。过去征讨辽东，是遵奉先帝遗志，凡是参与议论的朝臣都各抒臆，而苏威却不直抒己见。陈述善以启迪帝王的理难就像他这样吗？”于是将他免官除名。过了一个多月，有人奏告他与突厥勾结。大理寺主簿斥责他，他陈说自己诚之心不能动天，瑕疵却不断现，实在是罪该万死。炀帝怜悯他，将他释放。这一年，他随炀帝到达江都，炀帝想重新任用他，裴蕴、虞世基奏报他昏聩多病，炀帝才停止。

宇文化及杀死炀帝，命苏威为光禄大夫，开府仪同三司。宇文化及失败，他又归附李密。李密失败，他到东都洛，越王杨侗封他为上国、邳公。王世充称帝，他又被任命为太师。他自认为是隋朝旧臣，遭逢动，所到之都随着时局的变化而变化，以求得到宽免。