在确定安禄山人品不好，而且胆大妄为之后，李隆基对安禄山的信任减弱了很多，不过，他暂时还不敢处置安禄山，以免引起北方的动乱，再三思索之后，为了大唐的安定和繁荣，他决定给安禄山减罪，也就是用人不明，驭下不严之罪，这样可以大大减少安禄山所应遭到的惩罚，从而安抚北方边将之心，但他同时也不敢再将安禄山放回去了，以免这个家伙继续为所欲为，甚至根基越来越稳固，如此，就是养虎为患了。
同时，李隆基也意识到，自己给边将的权利是越来越大了，既然安禄山可以在边镇为所欲为，那么，其它的边镇将领，会不会也这么干呢？万一个个边将都为所欲为，并变得越来越强大，他这个皇帝日后还怎么驾驭他们。
联想到东周列国和东汉末年三国的故事，李隆基觉得，不应该再给边将这么多权利了，否则，一旦边将造反，后果不堪设想。
他相信，除了安禄山之外，肯定还有别的将领，做了不该做的事情，边镇是到了该整顿和削弱的时候了。
当然，削弱边镇力量，并不等于减少边镇兵力，而是要控制边镇节度使的权限，让他们只能管军事，不能管经济和治安，如此，可大大减轻他们的独立性，另外，他还打算在所有边镇设置观察使一职，由宫里的太监负责，而且，要时常调动，以免这些太监与边镇将领太熟悉，从而有私情。
这么多年来，边镇节度使的权利越来越大，主要是因为大唐的财政有些困难，而边镇因为经常吃紧，需要增加兵力，更需要增加军饷，而朝廷很难全部提供，于是，就采取直接放权的方式，让各镇节度使自己解决，从而让边镇变得越来越具有独立王国的性质。
全面整顿边镇是非常有必要的，但在这之前，他必须先处理好安禄山的事情，以免引起改革前的动乱。
在与李林甫和李安等众多臣子单独商议之后，李隆基做出了最终的决定，以安禄山用人不明，渎职为理由，扒掉他身上的宰相之位，并同时去掉范阳和平卢两镇节度使的职位