隋炀帝有文武才能，却不修其德，仁义不施而终导致亡国。在齐家方面，在对待儿女骨肉至亲及处理家庭亲属关系方面，隋炀帝同样搞得是一团糟。虽然对皇后萧氏的尊宠始终如一，无可指责，但对儿孙子侄却未能尽善，以致父子相猜，骨肉相残，储宫陵夷，最后都不得好死。
隋炀帝的皇位竞争者兄长杨勇和小弟杨谅均败死，四弟杨秀被囚禁，但隋炀帝仍不放心，对宗室诸王也加强了戒备，因为这些人是最可能觊觎皇位的人。隋炀帝即位后对同姓诸侯王“恩礼渐薄，猜防日甚”,其中曾为隋炀帝为萧后姻缘牵线为使致礼的堂兄杨纶“尤被猜忌”。杨纶父滕穆王杨瓒是隋文帝同母弟，因反对隋文帝篡周， “遇鸩以死”。杨纶虽嗣父爵，在隋文帝时就“每不自安”,隋炀帝即位后更“忧惧不知所为”,心里害怕极了。于是召神问鬼，占卜凶吉，术士王琛安慰杨纶“相禄不凡”,因为“滕即腾也，此字足为善应”。又有和尚惠恩也为杨纶占候。然而没有不透风的墙，杨纶的举动有人汇报给隋炀帝，隋炀帝的神经本来就绷得很紧，闻讯大怒，即令黄门侍郎王弘严查此事。
隋炀帝的另一位堂弟旦王杨集的处境与杨纶一样不妙，他是隋文帝异母弟卫昭王杨爽之子，并嗣爵。杨集对隋炀帝的猜防也忧惧不知所措，呼术士俞普明祈福，结果被人告发。
隋炀帝要扫灭任何觊觎皇位者的异想，但当坐罪者已不能形成对自己皇位的威胁时，又不妨给点慈悲。对于骨血堂兄弟杨纶、杨集，隋炀帝表示不忍加诛，于是下诏： “虽复王法无私，恩从义断，但法隐公族，礼有亲亲，致之极辟，情所未忍。”虽然宰相大臣议按旧章前律，依照法律，叛逆罪应处死，但隋炀帝权在法上， “法隐公族，礼有亲亲”,最后还是隋炀帝说了算。大业元
年(605)七月丙午(二十三),滕王杨纶、卫王杨集夺爵徙边，虽免一死，却被赶出了京师。杨纶被流放到了海南岛，其诸弟也都散徙边郡，其中杨温在零陵(今湖南境)作《零陵赋》,抒发自己的忧郁，其辞哀思，传到隋炀帝手里，他读了大为愤怒，将杨温转徙南海边荒。他们兄弟几人在乱世中苟全性命，杨纶隋亡后归唐，封怀化县公。
隋炀帝的另一堂弟高阳公杨智明乃隋文帝弟杨整之子，因交游太广被猜忌，竟致夺爵。智明兄智积在险恶的环境中，每自贬损，不问政治，凡事委政僚佐，清静自居。智积生有五个儿子，只教读《论语》《孝经》而已，不让他们交游宾客，生怕儿子有才能而致祸。大业十二年(616)从驾江都，生病不呼医，死时竟对所亲曰“吾今日始知得保首领及于地矣”,为自己得安然去世感到庆幸。
隋炀帝对兄弟无情，对子侄辈更是残忍。
其兄杨勇生的十个儿子，长子杨俨六岁时被隋文帝封为长宁王，杨勇被废时杨俨的爵位也被废去。但隋文帝对自己的长孙心存怜悯，留在身边常从宿卫。隋炀帝即位后杨俨仍跟着隋炀帝的卫队护卫，有一次被隋炀帝看见，在路上赐予一杯毒酒，鸩杀于路。九个弟弟也都分别流徙于岭外，到流放地后又被所在长官通通杀死。汉王杨谅的儿子杨颢则禁锢终生，唯秦王杨俊生前未参与帝位争夺，两个儿子均被隋炀帝封以爵位，其长子杨浩袭父爵为秦王，庶子杨湛封济侯。但是，这些与隋炀帝有血亲的宗王的存在，仍然对隋炀帝的皇统存在潜在的威胁，即使他们自己并无夺位野心，也会有别的野心家利用他们的皇家血统谋叛，秦王杨浩就曾被人利用。后江都宫变，隋文帝、隋炀帝的儿孙辈遂几乎被全部杀光。
隋炀帝对同姓宗王不近人情，但对外姓亲属却十分优礼，因为相对而言他们对皇位的威胁较少。隋炀帝特别追念舅族独孤氏，得罪早逝的独孤拖在其即位之初即被“礼葬”,赠正议大夫，葬后他仍对舅家衰落怜惜万分，下诏称： “舅氏之尊，戚属斯重，而降年弗永，凋落相继。缅惟先往，宜崇徽秩。复赠银青光禄大夫。”独孤随之弟独孤整大业初去世，也追赠金紫光禄大夫，平乡候。
隋炀帝对后族萧氏更是优礼有加，被废闲居的后梁主萧琮以萧后之兄的缘故， “甚见亲重”,隋炀帝嗣位之初即官拜内史令，改封梁国公。萧琮的家族， “绸麻以上，并随才擢用，于是诸萧昆弟布列朝廷”。萧琮之弟萧璟拜朝请大夫，尚衣奉御，后历任卫尉卿、秘书监。萧瑀更以外戚有才行，曾奉侍隋炀帝于东宫，累迁官至内史诗郎。但萧琮因以后梁帝王降阶为臣，崇信佛教，性淡雅，不愿理政，退朝唯纵酒而已。隋炀帝曾命杨约宣旨诫励，但萧琮依然我故。萧琮以帝王之裔羁旅于北方，见朝廷豪贵，无所降下，独与名将贺若弼深相友善，后贺若弼被诛杀，时有童谣云： “萧萧亦复起。”意思是说后梁萧氏将恢复帝业，虽然系子虚乌有的谣言，但触及最高皇权，犯了大忌，隋炀帝于是大加猜疑，废萧琮于家。萧琮不久死去，赠左光禄大夫。
凡是触及到皇位皇权，就是最敏感的问题，骨肉至亲也要提防。在这个问题上，隋炀帝甚至对自己的亲生儿子也严加防范，其做法尤甚于其父。
隋炀帝生有三个儿子，若干个女儿。其中萧皇后生晋王杨昭(又称元德太子)、齐王杨睐；萧嫔生赵王杨杲。萧嫔有可能是萧后的血亲家人，赵王杨杲生于大业二年(606),年龄尚幼，深得独孤皇后喜爱。长子杨昭生而被隋文帝养于宫中，深得隋文帝和独孤皇后喜欢。据说，在宫中每见祖父、祖母扶抱亲热时，杨昭都自觉避开，自小就这么懂事，隋文帝因而叹曰： “天生长者，谁复教乎。”十二岁时，被祖父封为河南王。杨广被立为皇太子时，杨昭徙为晋王，并拜内史令，兼左卫大将军，后三年，转雍州牧。隋炀帝即位之时，留杨昭守京师长安，自己住东都洛阳。大
业元年(605),遣使立杨昭为皇太子。杨昭为人仁厚，性格谦让，从不露愤怒之色，且生活俭朴，有祖父母之遗风，本是一位理想的皇位继承人，但杨昭生得肥胖，虽有武力，能引强弩，但身体并不好。大业二年(606),杨昭由长安朝于洛阳，数月的往来拜会使胖太子应酬不暇，竟致劳疾。将还京师，杨昭请求留下休息几天，隋炀帝不许，病体迁延，致卧床不起。隋炀帝没有及时派御医诊问，却派巫师来探视，得出的结论竟是“房陵王为祟”,即已死去的杨勇鬼魂在闹，最后不治，于大业二年(606)七月二十三日病死于行宫。宝贝儿子的死，隋炀帝深为痛惜。
太子杨昭是个仁德之人，死得太早十分可怜，他为隋炀帝留下了三个孙子：大刘良娣生燕王杨谈，小刘良娣生越王杨侗，韦妃生陈王杨侑，后徙为代王，时皆幼小。
隋炀帝次子杨昧字世出，小字阿孩，自小就长得眉目清秀，姿容端丽，也深得祖父隋文帝喜欢，开皇年间立为豫章王，邑千户。杨昧年少时受到良好的教育，颇涉经史，尤工骑射，初任内史令，挂宰相衔见习朝政，仁寿年间拜扬州总管沿淮以南诸军事，接替已进京为皇太子的父亲杨广坐镇江都。隋炀帝即位后封杨昧为齐王，深得隋炀帝器重，迁豫州牧。
不久，元德太子去世，杨昧以正宫所育次子理当接嗣，而为朝野注望，大家都认为他将是未来的皇太子，隋炀帝也令吏部尚书牛弘为齐王府妙选府属。这年，隋炀帝备礼拜柳謇之为齐王府长史，拜师的那一天，敕柳謇之： “今以卿作辅于齐，善思匡救之理，副朕所望。若齐王德业修备，富贵自当钟卿一门，若有不善，罪亦相及。”看来隋炀帝对杨昧是寄予了厚望，公卿贵族也争相将自己的子弟送入齐王府，以求富贵。隋炀帝并将杨昭太子东宫僚属两万余人全部配属于杨睐名下。于是，自乐平公主及诸贵戚竞相至齐王府致礼，百官称谒，填咽道路。大业三年(607)转雍州牧，不久迁河南尹，开府仪同三司，宠遇越益隆重。
但杨昧的个性涵养较之其兄差之甚远，是一个骄恣**的皇子。
杨睐昵近小人，所行多不法，他将柳謇之放在一边，派遣其亲近小人乔令则、陈智伟、刘虔安、裴该、库狄仲锜等人，四处寻求声色犬马。齐王府群小的胡作非为，使杨昧的声名日坏。
杨睐也不像当年父皇杨广那样能矫情饰貌。有一女子姓柳，貌美娇艳，乐平公主寻得，曾向隋炀帝言及，隋炀帝因公务繁忙当时未作回答，许久之后公主以为隋炀帝对柳氏女不感兴趣，转而进献给杨昧，杨昧很高兴地收纳了。不久隋炀帝想起公主献美女之事，就问乐平公主柳氏女何在?公主只得据实答“在齐王府”,隋炀帝扫兴很是光火。有一次，隋炀帝于汾阳宫进行大猎，诏杨味率千骑入围场，杨昧受宠若惊，恣意猎射，大获麋鹿以献，而隋炀帝却没有猎获到任何野兽，于是迁怒于跟从自己的侍卫官，侍从们都诉说野兽全被齐王左右所遏阻，根本就不能到隋炀帝射程范围来。骄横无比的隋炀帝于是怒不可遏，刻意求杨睐过失，想整治一下骄纵的儿子。
皇帝求人过失当然是不费吹灰之力，不久就找到了杨聴不少过错，如伊阙县令皇甫诩违禁擅离职守到齐王宅，京兆人达奚通出入齐王府，与贵游宴聚。王侯交通外臣是违制，于是御史韦德裕根据隋炀帝之旨奏劾杨睐，隋炀帝即令甲士千余人对杨康的府第进行了一次大搜索，结果在穷治猛追之下，查出了齐王不少丑行恶事。
原来，隋炀帝为杨昧娶得关中世族韦冲的女儿为妃，但杨聴却与王妃的嫂嫂元氏私通，生下一个女儿，外人一概不知。杨昧又经常私自引乔令则到齐王府第内吃喝酣宴，乔令则快活时竟得意忘形，脱杨昧的帽子以为欢乐。又召术士向后庭女子相面占卜，术士指着元氏说： “这位生子者当为皇后，大王贵不可言。”当时朝廷未立皇太子储宫，杨昧自以为太子应轮到自己，但又顾忌兄长元德太子的三个儿子，内心常不自安，于是暗中安排术士做“厌胜”之事，希望咒死三个侄儿。这些事全部被揭发，隋炀帝听后大怒，下令斩乔令则等数人，赐妃嫂元氏死，齐王府僚属全部流放边远，长史柳謇之及将军董纯等人亦皆以不能匡正坐除名，唯贺德仁以忠谨免罪，出为河东郡司法。
当时赵王杨杲尚幼，隋炀帝对左右侍臣说： “朕唯有杨睐一子，要不然，就当于市朝斩首，以明国家法度。”自此以后，隋炀帝对杨睐从没有好脸，杨昧虽仍挂京兆尹衔，但不再参与时政。隋炀帝还派一位武贲郎将经常坐镇齐王府监视，凡小有过失，立即汇报。隋炀帝又忧虑杨睐会有异动，配给齐王左右的府属全是老弱，以防不测。杨昧因失宠于父母，也内心不安，常有畏惧之感。父子关系犹如寇仇，直到隋炀帝死葬雷塘，预立储宫册封皇太子之事再也没有人敢提。