似乎霍氏的权力机构，仅仅以霍禹接替霍光，换汤不换药，汉宣帝依然甘做傀儡的架势。那就太小看汉宣帝了，后面的小动作才关键。霍禹领尚书事后，汉宣帝接着发布了一道命令：朝中所有奏章，直接由尚书呈交皇帝。这个动作看起来很不起眼，其实等于解除了霍禹朝政一把手的权力。西汉的政治，从汉武帝起，采取外朝控制内朝的办法，决策大权掌握在内朝官手上，领尚书事的大司马就是内朝官一把手。
汉宣帝剥夺了霍禹审阅批复奏章的权力，霍禹领尚书事成了空头衔。紧接着，汉宣帝又下了第二步棋，他册封许广汉（许皇后的父亲）为侯，提拔许氏、史氏（汉宣帝祖母家族）、王氏（汉宣帝母亲家族）子弟为内朝官，并以郎官身份宿卫皇宫。这个举动有两个意义，一是让自己的亲信进入决策层，二是部分解决个人的人身安全。这个动作也不太显眼，霍家没法反对。
皇帝跟谁商量事，你怎么干预？提拔几个低级别的小郎官，这点自由霍氏没法不给。第三步棋，汉宣帝又任命魏相为御史大夫、给事中；金安上（金日磾的侄子）为侍中，掌宫门警卫；车骑将军张安世为大司马，与霍禹并列。魏相和金安上都是汉宣帝的心腹，张安世其实是霍光的铁杆。汉宣帝的这三个任命，太智慧了。首先他以魏相为首，去影响外朝，与霍氏展开外围斗争。
其次，以金氏家族的影响力，拉拢权贵家族势力。对张安世的安排，可谓化腐朽为神奇！张安世当初都看不起汉宣帝，反对哥哥张贺将孙女嫁给汉宣帝，结果便宜了许广汉。可是汉宣帝即位后，很敏锐地意识到，张安世就是霍光背后的政治第二极。同时，张安世又不具备替代霍光秉政的可能性，所以他完全可以利用。几步棋下来，霍氏被“温柔死”，霍禹的领尚书事变成高挂的羊头，没了朝政决策权。
许氏等外戚的入替，及魏相、金安上、张安世的加盟，让汉宣帝不光拥有了内朝决策权，和外朝影响力，也让自己的基本安全得到保障，还拥有了几大家族势力的拥护。到这时候，霍氏才发现，他们向通往傀儡的道路上隆重起航。第二步，突然袭击，罢除霍氏军权第二年，以魏相为代表的外朝势力，与霍氏一族的摩擦不断升级。正当霍氏深感不平，手足无措时，汉宣帝突然凶相毕露：霍禹除右将军，保留大司马（稻草人一个）；霍云解除中郎将之职，调任玄菟郡太守（去东北凉快）；霍山解除奉车都尉和领胡兵之职，专任尚书事（收发室呆着去）；范明友解除未央宫卫尉、度辽将军之职，调任光禄勋（虽是平调，军权没了）；邓广汉解除长乐宫卫尉、将军之职，调任少府（变皇室管家了）；任胜解除中郎将、羽林监，调任安定太守（去北边喝羊奶）；王汉解除中郎将，调任武威太守（去西边吃风沙）；张朔解除光禄大夫给事中，调任蜀郡太守（去南边跟蛮夷学鸟语）；霍氏子弟一律不得入皇宫承担宿卫工作（靠近皇帝的几乎都没）。
这是什么节奏？霍家的军权一夜之间全没了！霍禹虽然有个大司马名头，但是没有军职，既失去朝政大权后，军权也没了。霍氏一族全被“转业”，由军队系统改任行政官员，而且大多被分配到老少边穷地区。随着霍氏被踢出皇宫安保系统，汉宣帝再也不用睁着眼睛睡觉了，到这时候，他的命才算是自己的！唉，当皇帝不易啊！至此，汉宣帝军政大权一把抓，霍家去年被“锯角”，今年被“拔牙”，再凶悍的怪兽，没了角和牙，唯一的出路恐怕是赶紧变成猫乖乖。
第三步，煽风点火，强逼霍氏谋反面对步步被动的局面，霍家人怎么办？在心理失衡下，霍家人一共召开了三次“霍氏家族常委会”，商讨对策。第一次，霍光的遗孀霍显坦言：当年皇后许平君，就是她亲手安排女医毒死的！霍显本来想以此告诉霍家人，咱们没有退路，只能拼到底。可是这条重磅炸弹，却搅乱了霍氏子弟的方寸，他们反而没心思往下讨论，结果不了了之。
第二次，赵平的门客石夏，和霍云的门客张赦，建议霍氏联合上官皇太后（霍光的外孙女），发动政变，废掉汉宣帝。这件事泄露后，汉宣帝竟然莫名其妙地叫停了廷尉对二人的抓捕。霍家紧急召开会议，形成决议：早晚是死，反吧！没想到汉宣帝又下了一道旨：霍家子弟怠慢皇太后，管家冯子都屡屡犯法，霍云、霍山罢职回家思过，对霍氏严厉训斥！这时候霍氏的核心成员之一，霍云的舅舅李竟已经被捕入狱，谋反的事显然已经暴露，可是汉宣帝却只字不提，用两件不起眼的小事轻拿轻放，这是搞什么鬼？惶惶不安之下，霍家人又召开了第三次会议，这一次他们定下了具体的方案：由上官太后出面宴请博平君（汉宣帝外祖母），请许广汉和魏相作陪。
