由于一征高句丽的失败，杨广好不容易靠吞并吐谷浑开拓西北四郡建立起来的威望开始动摇了。并且由于兵灾、天灾等使得大隋天下饿殍遍野，再加上辽东的兵败，高句丽人用隋军的尸体筑墙的事情使得军心低落，士气不振。在裴矩的劝说下，杨广为了平复军心以及为了下次征伐高句丽做准备，杨广下令在涿郡建一招魂台，在百官的簇拥下，全体披麻带孝，整个涿郡一片白色。杨广在招魂台向地上洒下一杯酒。
“这第一樽酒敬给我远征辽东的将士，他们为国守土开疆，离妻别子，劳苦功高，朕先敬他们。”
“边关将士，卫国守土，开疆立功，万岁万岁！”旁边的大臣和侍卫为他呐喊。
“这第二樽酒，敬给我征辽烈士，为他们报仇，为国雪恨！”
“伟伟烈士，铁血忠魂，当敬，当敬！”周围的大臣和侍卫一起大喊着。
杨广有倒了第三遵酒，“这樽酒，敬给上天，愿上天助我荡平高句丽。”
听到杨广这句话，李建成明白了，杨广前面的表现只是为了再次征伐高句丽做准备，我的脚步必须快点了。杨广在祭奠了死在征伐高句丽战场的兵士后，又安抚了涿郡的文武官员，带领着文武百官怏怏的回到了长安。李建成也随着护驾的禁军一起回到长安。回到家后，李建成来到了李渊的面前。
“爹！有件事情我想跟你商量一下。”李渊点点头，把他带到了自己的书房。
“建成！有什么事情你就说吧！”
“父亲，现在杨广已经弄的天怒人怨，我看我们要早作准备！”李渊望着李建成，并没有阻止他的意思。
“父亲，我是这样想的，我们如今身在京城，身边无权无兵，而杨广这些年的所作所为我看这大隋天下恐怕没几天了，我们不如。。。。。”
“建成，你不要再说了，须知为人臣者要鞠躬尽瘁，死而后已。”李渊看着李建成的脸，虽然很严肃，但没有什么责怪的样子。
“但你的想法也是可以考虑的，这件事情只能有我们父子知道，一点都不能对别人透露！”
“是！”有异心的不只李建成一个人了，杨玄感自从父亲死后，一直赋闲在家，他知道杨广一直对他很猜忌，所以一直深居简出，而且杨广即位以后，不断的文治武功，使他的皇权威望不断增加，他对杨广的畏惧感也越来越强。但随着杨广为了开挖大运河、征伐高句丽而不断耗费民力，使得民变迭起，再加上第一次征伐辽东的军事行动的失败，他那颗蠢蠢欲动的心有开始活络起来了。这些天，他一直梦见父亲：
“父亲，父亲你在哪？你在哪啊！父亲，孩儿好想你啊！”
“玄感！为父死的不干心啊！为父是被杨广用计谋和毒药害死的，你是我杨素的儿子，你要为为父报仇啊！你一定要完成为父的心愿啊！我们杨家一定要出个皇帝，一定要出个皇帝，一定要出个皇帝！”
“父亲！”无数次，杨玄感从梦中惊醒。是啊！我是父亲的不孝之子，小的时候，自己在读书时并不是很聪敏，行动也很迟缓，受尽了同窗的欺负，就连父亲的同僚也经常拿他开玩笑，说他是个痴儿，要杨素把他丢掉，杨素经常在那些人面前维护他，说此儿不痴，而且那些说他痴傻的同僚如虞庆则、史万岁等人的罢官丢命不能不说与这件事没有关系，正是由于父亲的保护，他才慢慢的从新拾起了自信，也表现出了超人的能力和武功，在成年后进入官场时，不久便在短短数年时间与父亲官职一样，有了杨氏一门两柱国的美誉，杨广即位前，对父亲是言听计从，如果没有父亲的鼎力相助，杨广绝对坐不上那把龙椅，可杨广却恩将仇报，对父亲百般猜疑，父亲在世的时候经常说，杨坚的祖父如果不是与他们家的祖先合为一族，根本就是一介贫民，没有资格融入关陇门阀集团，更不会有资格做皇帝，他杨广如果没有他根本不配当太子，更不可能即位，到最后被杨广用奸计和毒药害死。而那些墙头草们还落井下石，父亲一死，明里对他言语恭敬，实际上都已经知道了杨广的心意，对他暗中排挤，不然他也不会年纪轻轻的就以为父亲守孝为名辞去官职，赋闲在家。大丈夫不可一日无权，尤其是他这种当过大官的人，他的心里一直恨的痒痒的。‘嗯！父亲这是在责怪我不能为他报仇，让他在阴间不安，我一定要做成这件大事。’杨玄感想了之后，马上开始了筹划。首先他让自己最小的弟弟杨积善出去联络，因为杨积善年纪最小，而且在京城世家子弟中颇有人缘，所以杨玄感派他去，这样不会引起杨广的怀疑。几天后，杨广上朝，来护儿上前奏请：
“启禀皇上，征辽事物一切安好，只是粮草筹集有些困难，现在中原府库空虚，粮草需要有江南筹措，筹集后需要有专人负责从黎阳押运辽东，请皇上派遣一位重臣坐镇黎阳，从旁调度。”
“嗯！爱卿有什么人选吗？”这时，户部尚书樊子盖出班启奏。
“皇上，臣举荐一人，原礼部尚书，上柱国，司徒、越国公杨素大人的儿子杨玄感能力出众，原先因为为父亲守孝，辞去官职，如今朝廷正是用人之际，而杨大人守孝期满，请陛下量才录用。”樊子盖说完后，来护儿也点头赞成，他们二人之后又有数名大臣出班赞成，杨广听到杨玄感的名字后，心里莫名的一紧。对于杨素他们那家人，杨广实际上是很警惕的，可如今他等级已经有八年了，而且樊子盖说的也没有错，如今正是用人之际，杨玄感的能力也是有目共睹的，再说杨素已经死了那么久了，他自信杨玄感也翻不起什么风浪了。想到这：
“来爱卿和樊爱卿说的有理，杨司徒公父子二人的能力朕也是有目共睹的。那就传旨杨玄感，让他坐镇黎阳，督运征辽粮草，一定要保证征辽大军的粮草供应。”杨广下旨后，立即有太监前去杨府宣旨。
“圣旨到，请杨大人接旨！”杨玄感听到后赶快迎了出来。
“啊！公公辛苦！请！”杨玄感把传旨的太监迎入了正堂，整衣跪听杨广旨意。
“奉天承运，皇帝诏曰，古语有云，国乱思良将，家贫思贤妻，今国家有事，须我朝文武共进退，爱卿父子皆国家栋梁之才，本当大展宏图，但奈何天不佑我大隋，老柱国病逝，爱卿为父守丧，如今丧期已满，卿当除孝报国！特命你为河南转运宣抚大使，驻扎黎阳，筹办辽东粮草事物。勿辜负朕之厚望！钦此！谢恩啊！”
“臣杨玄感领旨谢恩！”杨玄感谢恩后起身，往传旨太监的袖子里送入了一锭金元宝。太监赶紧把袖子拢住。
“哎呀！柱国大人，何必这样客气呢！”话虽然这么说，可手却像是怕金子丢了一样，拼命的抓住袖口。跟太监打交道多了，杨玄感自然知道他们的德性：
“公公客气了，如此辛苦的差事，受累了，这点心意是给弟兄们喝茶的！”说完，又有人递上一盘白银，太监身旁的侍卫赶紧接过去。
“杨大人考虑的真是周到，大人定有很多公务要忙，咱家告辞了。”
“公公慢走。公公慢走。”传旨的太监离开后，杨玄感的嘴角闪现出一丝不易察觉的冷笑。傍晚，杨玄感在府中摆下了一桌丰盛的酒席，除了杨玄感的六个弟弟，还有来护儿的二儿子来渊和世袭的蒲山公李密。杨玄感举杯向来渊敬酒：
“来兄，若非你父亲在杨广面前为我举荐，我也不会那么快的从新出来。”
“玄感兄客气了，玄感兄天纵英才，杨广不用你是他昏庸不识人才，如今你能从新出山是你的才华显现，并非在下之功。”来渊虽然是来护儿的儿子，但来护儿有十二个儿子，在家并不受来护儿的重视，跟几个兄弟也合不来，倒与杨积善交情甚密，并通过杨积善的关系结识了杨玄感，对杨素极为崇拜。而且，他自己本身也是一个不安时事的人，尤其看到杨广为了征伐高句丽不断的榨取民力，全国民变不断起伏，而杨广仍然不改变自己的国策，一意孤行后，觉得自己的时机已经来到。作为杨家的密友，杨素在世时的野心和杨玄感内心的苦闷是瞒不过他的。
而李密在开皇年间承袭蒲山公的爵位，在杨广刚登基的时候，曾经做过杨广的亲卫大都督，东宫千牛备身。有次杨广在朝堂上被杨素抢白了一次，心情不好，下朝后在宫中闲逛，正好李密那天当值，与杨广碰了个面对面，杨广左瞧一下，又瞧一眼，回到后宫以后，问身边陪驾的宇文述：
“今天当值的那个黑面小孩是谁！”
“陛下，那是世袭的蒲山公，原上柱国李宽的儿子李密。”
“这个人的面像丑陋，身材矮小，不要让他在宫中当值了，让他赶紧走。省的让朕看了烦心。”李密虽然出身贵族家庭，但皮肤黝黑，身材矮小，而杨广本来面貌英俊，自然不会喜欢李密，宇文述当年曾经受过李宽的提拔，不忍心对李密直说，在他面前改口说：
“贤弟的天资这么好，何必在这里做一个只能管理琐事的宫廷侍卫，为什么不趁年轻多读点书呢？到时贤弟学业有成，我一定在皇上面前好好举荐，日后做到宰相也有可能！”李密信以为真，马上借自己生病辞官，后又拜当时国子监助教，著名文人包凯为师，深得包凯的赏识。誉为第一弟子。为了安心学习，他在长安郊外隐居读书，一次杨素到郊外狩猎，碰到了李密，言谈中觉得李密有极大的才能，嘱咐自己的儿子们多向李密学习，并曾经亲自向杨广举荐，但杨广本来对杨素已经深深地忌惮与厌恶，又担心杨素结党营私，说话更是口不择言：
“越公说的是那个身材，面孔黑而且丑的人吧！不用再说了。我不会用他的。”杨素回来之后把杨广的话原原本本的传给了李密，从此李密对杨广仇恨的种子便深埋在心里。
“玄感兄，你这次从新出山一定不是想从新做官那么简单吧！不知道心中可有什么大事筹谋啊！”李密已经把话公开，杨玄感也觉得不用在隐瞒下去了。
“既然法主兄明说了，我也不瞒各位了，如果我有新成事，不知道各位兄弟可愿从旁协助啊？”杨玄感已经把话挑的很明白了。杨玄感的三弟杨玄挺是个武将，说话直来直去。
“大哥，推翻杨广我不反对，但要聚兵必须有钱粮兵器，你现在坐镇黎阳，负责辽东粮草调度，这粮草的问题好解决，可这钱和兵器。”杨玄感微微一笑。
“你们跟我来。”杨玄感把他们带到杨府的后花园假山旁，杨玄感触摸一块怪石，把它向左扭了三下。假山突然打开一个洞口，杨玄感拿着火把带着众人沿着梯子一直步入到地下。只见假山下有一间很大的密室，里面摆着四十几个大箱子。杨玄感吧其中的几个箱子打开，在火光的印照下，里面的黄金珠宝闪着诱人的光。
“大哥，这些金银是怎么回事？”
“父亲每次出征，都会暗中放纵一些兵士抢掠，再以严肃军纪之名杀几个人，把他们抢来的钱财收集起来，二十几年来就积攒了这么多。以前为了阉人耳目，所以只有我一个人知道，现在正好用作军饷。”看着这些金银，在场人的脸上都发出兴奋的光芒。