皇帝也是人，而不是神，皇帝也有自己的生活，但皇帝的生活与平常人不同，皇帝拥有三宫六院，妃嫔成群。隋炀帝可谓是风流天子，他一即位就营造东都，耗费民脂，建豪华的宫苑，其宫廷生活之奢侈是可想而知的。
隋炀帝追求理想的生活是无所顾忌的，不仅东都宫苑金碧辉煌，豪华无比，还妙选风景幽雅之地，遍置楼台亭阁，据说其晚年奢侈之心更重，所建迷楼“千门万户，上下金碧，金比伏于栋下，玉兽蹲乎户旁，壁彻生光，锁窗射日，工巧之极，自古无有”。有小说中称：炀帝殿内房中悬有一百二十颗大珠以照明，光比白日， “又有明月宝夜光珠，大者六七寸，小者犹三寸，一珠之价，值数千万”。旧史称炀帝“无日不治宫室，两京及江都，苑囿亭殿虽多，久而益厌，每游幸，左右顾瞩，无可意者，不知所适，及备责天下山川之图，躬自历览，以求胜地可置宫苑者”。又据史书记载：炀帝“性多诡诘，所幸之处，不欲人知，每之一所，辄数道置顿，四海珍羞殊味，水陆必备焉，求市者无远不至。郡县官人，竞为献食，丰厚者进擢，疏俭者获罪”。小说、史书中的这些记载，不能完全说是无中生有的凭空捏造，虽有夸张或虚构的成分，但隋炀帝的生活作风与其父的简朴节俭大不一样，形成了鲜明的对比，所以清人王夫之说： “炀帝即位，侈靡即至”。隋炀帝在衣、食、住、行各方面都极为铺张浪费。在饮食上务求“精丽”,他对东南西北各地名吃佳肴都了如指掌。“吴郡献松江鲈”,炀帝曰： “所谓金華玉脍，东南佳味也。”又曾将茄子改名曰“崑需紫瓜”。
隋炀帝写了不少诗描述他的宫廷生活，如《喜春游歌》云：
禁苑百花新，佳期游上春；
轻身赵皇后，歌曲李夫人。
佞臣虞世基和了两首，其中《长安秋》有“玉人当歌理清曲，婕妤恩情断还续”句，写的是帝王与妃嫔的情爱。再看隋炀帝《杨叛儿曲》:
青春上阳月，结伴戏京华。龙媒玉珂马，凤轸绣香车。水映临桥树，风吹夹路花；日昏欢宴罢，相将归狭斜。
这都是真实的生活写照。隋炀帝是风流才子，能诗能歌，这使他的宫廷生活充满了艺术情趣。
隋炀帝喜欢以月夜从宫女数千骑游西苑，作《清夜游曲》,用曹植《清夜游西园》之诗配以名曲，于马上奏之，歌声传数里之外，这又与其父在皇宫内独守着独孤皇后的枯燥宫廷生活形成鲜明的对比。东都西苑周围二百里，其内有人工湖海，湖里有蓬莱、方丈、瀛洲诸岛仙山，台观殿阁，罗络山上，北有龙鳞渠，萦行注海内，缘渠有十六院，每院的大门都临着水渠，以四品夫人主院，苑内美女如云，妃嫔成群，享有不同于凡人的优裕生活，这在封建专制时代被认为是理所当然的。历代君王无论优劣都拥有三宫六院，都是好色之徒。然而隋炀帝似乎更超凡异群，是帝王的情种。
据史书记载，隋炀帝的内侄梁公萧钜和外甥千牛左右字文晶自小生长于宫中，为炀帝所宠爱，炀帝每于西苑林亭间设宴，盛陈酒馔，总是让萧钜、宇文島及燕王杨资与隋文帝的嫔御们为一席，内道场的僧尼、道士及女宾为一席，隋炀帝自己与诸宠妃为一席，略相连接。每次罢朝后总是要大宴热闹一番，酒酣殽乱，靡所不至，以后习以为常。美少年宇文岛是关陇勋贵宇文庆之子，宇文庆曾支持隋文帝杨坚篡周，其子宇文静礼得尚文帝女广平公主，宇文島为宇文庆第三子，字婆罗门，时人号曰宇文三郎。长大出入宫掖，不限门禁，**宫中，以至于妃嫔、公主皆有丑声，流传于宫外。宇文晶自己也畏罪数日不敢见人，后来萧后看不下去，言之于隋炀帝，但隋炀帝竟不加罪，待之如初，这大概就是“引少年令与宫人秽乱”之事。
至于隋炀帝本人，史书记载了几则他喜好女色的事实。如他的姐姐原周天元皇后乐平公主杨丽华曾进美女柳氏给他，后却送给了隋炀帝的次子杨昧，为此隋炀帝十分恼怒。大业八年(612)十一月，隋炀帝下密诏，令江、淮以南诸郡地方官“阅视民间童女”,凡姿质端丽者，每岁贡献朝廷，配入后宫，这是正史明确记载的有关隋炀帝“好内”好色**的不光彩记录。
但隋炀帝的正妻皇后萧氏，一个聪慧有教养的妇女，从十四岁结婚，直到隋炀帝死时，从来没有遭到隋炀帝的冷落而被宫内其他年轻的宠妃取代。相比于历史上许多因皇后年老色衰而以庶代嫡的皇帝，隋炀帝还算比较正经的，绝不会因女色误国。其实，在女色方面隋炀帝还不如他的父皇，隋文帝惧内与独孤氏誓无异生子，但独孤皇后死后他还是禁不住女色，以致“精华稍竭”而致衰亡。史书明确记载了隋炀帝仅有三个儿子，两个是萧后所生，一个为萧嫔所生。女儿南阳公主亦出自萧后，另有一女儿后为唐太宗妃，不知所出。在古代没有避孕措施的情况下，盛壮之年的隋炀帝，如果真的像传说的那样好色的话，成天与女人鬼混，绝不会仅有五个子女。要知道唐高祖光儿子就生了二十二个，唐太宗生了十四个，还不包括女儿。由此可推断，隋炀帝绝不是那种一天到晚唯与女人厮混寻欢作乐的昏君。当然，也不能说他不近女色，清心寡欲。隋炀帝是人，而且是可以任意支配世间所有的女人的人，可以说对女色他几乎可以随心所欲。他拥有后宫佳丽成千上万，他也侈靡玩乐，但在封建帝王中他绝不是最荒**的一个，绝不是好色帝王的典型，他建立了豪华的东都西苑，却并没有一头栽进这只有女人和宦官仆役的禁闭宫苑，他当皇帝十多年，大部分时间都是在外巡游。