赵高虽然被削去官爵，贬为庶人，但仍在官中行走。这次事件给他一个教训，使他变得更加谨慎、机敏。秦始皇身边的人换了一茬又一茬，只有他一个人没换过。黄门、郎中、侍卫知道始皇帝仍宠信赵高，无不对他趋近逢迎，上门探望、问安、寻求请示的，络绎不绝，就连临时代理的中车府令凡事都要请示他。他还是实际上的中车府令。但赵高毕竟是戴罪之身，自觉在宫里被这些黄门、侍卫奉若上司有所不便，就向秦始皇请示，离开咸阳宫，去望美宫胡亥的住处教授胡亥狱法。他现在是庶人，唯一没剥夺的就是胡亥老师这一头衔了。
赵高去望美宫，是为了弥补前一段时期对胡亥的冷落。他除了教授一些狱法知识，大部分时候都是陪胡亥吃喝玩乐。两人有时去上林苑猎奇，有时去御河边捉鳖。甚至装扮成老百姓去过咸阳城最豪华的酒楼喝酒，为天下有名的歌伎捧过场。
胡亥先头对赵高还有气，一段时间的吃喝玩乐之后，不但肚里没气了，还真有些离不得赵高了。赵高聪明，会想出一般人想不出的办法逗胡亥开心。两人成了形影不离的玩伴。
一天，扶苏在朝会上进谏，被秦始皇发往上郡的消息传到望美宫。胡亥听了，心里觉得痛快，第一次对这位亲切的长兄产生了幸灾乐祸的感触。
赵高更高兴。他处心积虑地想把秦始皇控制在自已手中，就是怕扶苏被立为太子。现在他栽了个大跟头，没想到歪打正着，扶苏竟被秦始皇赶出京师，自然没有被立为太子的可能了。
赵高去了望美宫后，秦始皇发觉，赵高一段时间不在身边，总是事事不顺心。新更换的内侍一个个形同木偶，只会围着他团团转，让他看着就心烦。难怪他不满意，天下像赵高那样聪明乖巧、善于揣摩主子之意的奴才能有几人？赵高在这方面有着常人所不及的才能。
秦始皇终于耐不住性子，传旨召赵高回来。
赵高终日陪胡亥玩乐，身在胡亥身边，心却在咸阳宫，无时无刻不在等秦始皇的召见。这一刻终于来了。一名黄门手捧圣旨飞马冲进望美宫，远远地高叫：“陛下有旨，召赵高即刻进宫。”
赵高激动万分，谢过圣恩，忙整理衣衫，准备进宫。胡亥一直把他送到咸阳宫大门。
巍峨华丽的咸阳宫，久违了。虽然离开咸阳宫只有一个月，赵高却有恍若隔世的感觉。不管怎样，他又回来了，一切都会从头再来。
赵高昂首走进咸阳宫。秦始皇在书房召见他。赵高进了秦始皇书房的门口，就扑通跪下，跪爬到秦始皇的御案前。
“罪臣叩见陛下！”
秦始皇乍见赵高，鼻子一酸，竟有一种离别重逢的悲喜之情，忙抑制住自已的感情，以一种轻松的口气说：“事情都过去了，快起来吧，朕有话问你。”
“谢陛下宽恩。”
赵高起来，躬身顿首说：“陛下有何吩咐，罪臣愿为效力，万死不辞。”
秦始皇微笑道：“朕记得你上次劝谏朕重修骊山陵墓。骊山陵在朕即位时就已开工修建。只是后来，朕看它与历代帝王的陵墓无异，唯高大而已，朕的修陵之心也就淡了。”
赵高就是聪明，很快听出秦始皇的言外之意，忙说道：“陛下的功绩可照日月，陵墓自然要有别于以往帝王。”
秦始皇就是喜欢赵高的聪明，点头表示赞赏。
赵高说：“罪臣也是这么想过，而且经过反复思考，有了一些构思。”
秦始皇有些期待：“赵卿的构思一定新奇独到，说来听听。”
“罪臣斗胆了。罪臣构想的出发点在于陵墓不应该只是主人身后安息之地，而应该让后世子孙能够看到陵墓主人生前的权威和国势的强大。”
秦始皇顿时被吸引住了，迫不及待地问：“说说具体的构想。”
“陵墓除了一般性的防潮、排水设施之外，罪臣设想在陵墓里建造地下宫殿，一如地上宫殿，应有尽有，除了宫中执事，还有虎责军和近身侍卫。设计时应该和真人、真物一样大小，以体现陛下的权威和大秦的强盛。”
“真是巧思、妙想！”秦始皇连连赞叹。
“臣还设想，在地下宫殿里设置具有六国特色的宫室，分别放置各国的奇珍异宝。另在起居殿的周围以水银作百川、江河和大海，使之流转不息。另设置人造苍穹，上置各个星座、日、月，与真实的宇内无异；下则制作天下名城都邑及各名山模型，排列比例一如实地，象征为天下之主所居。当然，各入口要道处都要设置机关强弩。只要触动机关，弩箭就会自动射出，让任何居心叵测者或野兽都有来无回。”
“太好了，甚合朕意。”秦始皇由衷地赞叹道，“赵卿简直是天下奇才，居然会有如此奇妙的构想。”
“陛下过奖了！”
赵高恭维地说。他说的是实话，这些构思并不是一时心血来潮想出来的。自从被削去官爵，他就在反思自已的失误，也在思考如何再取得秦始皇的宠信。鉴于秦始皇几次求仙修道的失败，他决定反其道而行之，不再从求仙修道上面邀宠于秦始皇，而是从早已停工的骊山陵墓入手。凭他的聪明，很快就构思好一个奇妙的设计方案，并以奇妙的构思打动了秦始皇之心。果然，秦始皇非常满意，特命赐座，兴奋地说：“朕决定重建骊山陵墓，就由你主管阿房宫和骊山陵墓两处工程事宜。有什么难处，需要什么条件都可以跟说。”
赵高一听，心中大喜，知道自已又一次成功地套住了秦始皇。但是，表面上他却惶恐地说：“罪臣本该效力。可是，罪臣还是戴罪之身，不便担此重任。”
秦始皇哈哈一笑，说道：“这个容易。朕现在就免去你所有的罪名，你可以放心去做了。只是中车府令、符玺令的职位稍待些时日，朕自会还给你。”
赵高转忧为喜，忙又跪下叩谢圣恩。
秦始皇把修建阿房宫和重修骊山陵墓的事宜交付廷议，并当庭宣布由赵高主管两项工程的事宜。众臣见秦始皇又宠幸起罪臣赵高，都有些愤愤不平，但无人敢谏阻。秦始皇的做法，不过给臣子一个面子，他决定的事，没人能改变。
赵高当上了两个工程的主管，不遗余力地奔忙起来，阿房宫和骊山陵墓两大工程紧锣密鼓地开工了。
根据计算，两处工程日需劳工七十万人，才能如期完工，精疲力竭的黔首又多了一份沉重的徭役。秦统一后，秦始皇发三十万大军北逐匈奴，又发五十万大军南平百越，而各险关要隘还驻扎着大量戎卒。此外，筑长城、修驰道还用到几十万的劳力。秦始皇把天下黔首视为奴仆无止境地征用，任意驱使，天下不堪重负。
阿房宫和骊山工程再征用七十万人，各郡都感到力不从心了，先送来的是轻刑犯。轻刑犯不够，就把重刑犯（大多是死刑犯）提请秦始皇特旨特赦，改为徒刑，发往工地。犯人征用完了，只得征用没有犯法的黔首。地方官吏趁机敲诈、勒索，有钱人可以出钱买脱，没钱的只好去服徭役。被征男子都是家里的顶梁柱，一旦离去，举家生计顿时成了问题。
赵高可不管这些。为了加快工程进度，让秦始皇早日看到他的伟大构想变成实实在在的东西，他只管要钱、要粮、要劳工，而且每天派出大量的监工，手持皮鞭，督促劳作，服役者稍有懈怠，皮鞭便毫不留情地落在他们身上。
因为役卒太多，朝廷拨给的粮饷有限，再加上各级工头逐级克扣，役卒每顿吃到的只是两个像石头一样的黑面菜团，喝一碗清得照见人影的咸菜汤。大多数的人严重营养不良，患上疾病，患病者又会传染给更多的人。可是，他们还要拖着虚晃的身体，每天从事繁重的体力劳作。每天都有人病死、累死，施工处的山沟里扔满了役卒的尸体。
工程所需的木料、山石，多以蜀地、楚地运来，这些地区多山林大泽。役卒们不堪重负，-有机会就逃走。尽管官兵严加防范，每天仍有人逃亡。当然，也有没逃脱被抓回来的，结果更惨，他们全被当着其他役卒的面被割去耳、鼻、舌和四肢，直至痛苦地死去。
秦始皇高高在上，当然不知道这些情况，在他想来，那些做苦工的都是犯了法的罪人，皇帝仁慈，再给他们一个改过赎罪的机会，他们一定很感激。
秦始皇也曾亲自去工地视察。赵高得到消息及早做好了准备，他看到的是刑徒们不辞劳苦、辛勤劳作的场面，所过之处，全是刑徒高呼“万岁”的感激之声。
秦始皇非常满意，对赵高的工作大加赞赏。但是，没多久，工地却传来刑徒暴动的消息。赵高还想隐瞒事实，可是，事关重大，不得不禀明秦始皇。
骊山工地的刑徒暴动是由三个人发起的。
第一个，名黥布，方县人，二十四五岁，五短身材，瘦削的脸上充满精悍之气。他在少年时，有个看相的说他当“先刑而后王”，就是在他受过面部刺字的刑罚后，命当称王。这次，因犯误杀人罪，被判黥面（即脸上刺字），发往骊山工地服劳役。他原名京布，受黥面之刑后便被时人称为黥布。
第二个，名魏豹，原魏国宗室。秦灭魏后，魏豹家被抄籍为奴，魏豹也成了秦将的家奴，因逃跑被抓，被判死刑，后改发往骊山徒刑。
第三个，名彭越，昌邑人，本为渔人，因秦赋税太重，难以为生，干脆就在江上当起了土匪。这次被捕原判弃市，因为骊山工地急着要人，郡守便把他改判发往骊山工地徒刑。他们三个被分为一伍，黥布还是伍长。三人性情豪爽，为人仗义，意气相投，由素不相识，结为莫逆之交。黥布私下跟魏豹、彭越说：“这里不是人待的地方。最后不是被累死，就是被饿死、病死。反正是一死，不如豁出去，找个机会逃走，也许还有活命的希望。”
魏豹、彭越早有此意，只是没敢明说。因为秦法严厉，实行连坐法，如果有一人逃走，他所在的旅（役卒的编制单位。十人为一伍，设伍长；十伍为一卒，设卒长；十卒为一旅，设旅长）的人都要被处死。有些人怕死，就举报图谋逃跑者，搞得役卒和刑徒人人自危，谁也不敢轻言逃走。黥布跟他们直接说明逃跑之意，是对两人的信任。
三人利用放风的机会，悄悄商定具体的行动方案。
机会终于被他们等来了。
骊山的陵墓工程需要上好的木料，咸阳附近的山上出产的木料都不能用，一定要产自巴蜀和楚地的木料。
产地有役卒专管伐木，等到春暖花开，山上积雪融化，将木料顺着溪水流入大河，再扎成木排顺长江而下，再从汉水溯水而上，到汉水尽头改由陆路搬运到骊山工地。这段陆路的运输就要由骊山工地派出大量的刑徒、役卒承担。
运输木料的工作是整个工程中最苦、最重的一种。因为自汉水至骊山要翻山越岭，通过重重山沟，大多半的路程马车无法通行，只有靠人力搬运。
黥布、魏豹、彭越三人身强力壮，体质较好，便被选中运送木料。
三哥听说，好多人就是在运送木料的路上钻进山林逃跑的，当然也有更多的人被抓回来，受尽折磨，痛苦而死。但是，不管怎样，在半路上总比在工地上逃跑的机会多，官兵的防范也不如骊山工地严密。三人都把这次运送木料看作难得的机会。
事实并非他们想象的那么简单。上路以后，他们就感到押解的兵卒防范甚严。夜晚宿营，为了防备有人逃跑，卒长总会借用地方郡县的大牢，把他们关起来。小小的空间把几千人硬往里面塞。别说睡觉翻身，就是连伸腿都困难。
如果赶不上县邑，宿在野外，倒不用那么拥挤了。但是，必须把五十个人的手捆在一起,翻身、小便都会把好多人惊醒。刑徒们畏惧连坐法的苛酷，只要有人有逃跑的迹象，就会有更多的人报告押解官兵。卒长为防范犯人逃跑，可谓用心良苦。
黥布三人找不到逃跑的机会，都有些失望。但求生的本能使他们开动脑筋，想尽一切办法也要逃走。
每当夜宿野外时，卒长也无处玩乐。闷极了，就找犯人取乐。刑徒们都是来自社会的最底层，学会了各种谋生的手段。卒长便让有些刑徒表演些杂耍、戏法之类的节目，借以排遣路途上的寂寞。表演者被临时放开手脚，算得到一时的自由。
黥布流浪江湖，也学会一些杂耍、戏法之类的活计，他看准了这一机会，便在白天行路的时候，与魏豹、彭越悄悄地定下了具体的行动方案。
又赶上野外宿营了，黥布毛遂自荐，向卒长讨好地说，他会表演很多精彩的节目，一定是卒长没有看过的。卒长很高兴，当即命兵丁放开他，让他当众表演。黥布却又说，必须有两名行内的人做助手。点名要魏豹、彭越二人做他的助手，卒长也答应了。
黥布装模作样地做着准备，正要开始表演他的精彩节目，他的助手彭越突然弯腰捂腹，连叫肚子疼，卒长不耐烦地问：“你他妈的怎么回事？”
彭越强忍着疼痛，捂着肚子说：“小人肯定吃东西吃坏了肚子，得方便方便。”
卒衣眼睛转了转，向两名兵丁说道：“你们俩跟着，快去快回。他要敢玩花花肠子，就地正法。”
彭越千恩万谢，捂着肚子向后坡的山林走去，两个兵卒一步不落地紧跟着。进了树林里，彭越装模作样，哼哼唧唧蹲了老半天。两兵卒连催三遍，见还是不起来，气得上前去拉，彭越突然站起，一手一个扼住了两兵卒的脖子。他是土匪出身，一身的功夫，只是苦于找不到机会逃跑，才没敢显露出来。这时候派上了用场，两个兵卒连哼都没哼一声，就软绵绵地倒下了。彭越按照预定的计划，借着夜色的掩护，迅速靠近旅长的营帐。因为兵卒都在看守犯人，旅长营帐反而戒备不严。彭越没费吹灰之力，就把营帐点着了火。顿时，火光映红了山头丛林。兵卒、役卒、刑徒一片惊呼。兵卒乱哄哄地赶来救火。被捆绑了手的州徒、役卒人心摇动，很快有人趁乱逃跑，兵卒们又忙着追捕。
再说黥布所在的这一卒，卒长正等得着急，忽见营帐起火，慌忙带人救火去了，只留下十几名兵卒看守犯人。这些兵卒一看山上大乱，害怕了，便一齐动手，要把黥布、魏豹再次捆绑起来。魏豹、黥布就等这个机会，先假装就范。待兵卒近前，两人突然出手，抢过兵卒的大刀。两人也有功夫在身，未敢显露，这时，挥舞大刀，十几名兵卒竟近身不得。等到彭越赶回，三人很快杀死几名兵卒，其余兵卒则吓得逃命而去。黥布忙叫二人一齐给其他刑徒松绑，刑徒们得了自由，黥布大叫道：“大家快些分头逃命吧，逃走一个是一个。”
刑徒们一听，一哄而散。黥布、魏豹、彭越会在一处，也向树林深处逃去。
其他各卒的刑徒，也不断有人挣脱绑绳逃跑，旅长、卒长顾不得救火了，各带一队兵卒进山林追捕。整个宿营地人喊马嘶，一片混乱。
黥布三人不识地形，又兼在夜里，只能在黑咕隆咚的山林里乱撞，好几次与搜捕的兵卒擦肩而过，险些被发觉。
