刘彻开始疏远卫青，主要采取了两种方法：第一种是让卫青离开前线军队，到长安来居住议政，等于是将卫青高高挂起；第二种是重用霍去病，让霍去病牵制卫青。这第二招很毒辣，等于是分化卫青家人，“拉拢一派，打击一派”。霍去病虽然是卫青的外甥，毕竟不姓卫，和卫家人的关系不那么密切。刘彻更看中的是霍去病的头脑相对简单。
霍去病“为人少言不泄，有气敢往”，只知道行军作战，消灭匈奴，在政治上很幼稚。刘彻曾经劝霍去病学点吴起、孙子的兵法，霍去病回答说行军打仗不拘泥于古代兵法，学那些玩意儿没用。刘彻发自内心地，同时也是有目的地，更加宠爱霍去病这个青年俊才了，着意培养，委以军事重任。一次，刘彻御驾亲临霍去病的府邸，见到霍家凌乱，就让霍去病多留心点家里。霍去病慷慨回答：“匈奴不灭，何以家为？”这句话迅速传开，成为千古名言。霍去病的声望随之节节攀升。