安西都护府和北庭都护府接到唐肃宗的诏令，先后由安西行军司马李栖筠，骠骑大将军李嗣业和左右金吾卫将军马磷率军东返中原，总共回调了15000精兵。
地处西域的安西﹑北庭两个都护府顿时兵力大为削弱。吐蕃乘虚而入，全力攻打河西走廊，进兵西域，此后，吐蕃攻占了陕西风翔以西、四川分州以北地区。后来继续攻陷了陇右之地，使得河西与中原隔断。
当时吐蕃军甚至攻占了大唐的京城长安，半个月后才撤离。
此后十余年，吐蕃又沿祁连山北上，河西的凉州、甘州、肃州、瓜州先后陷落。随着抗击吐蕃多年的重镇沙州沦陷，河西走廊全部丢失。西域与大唐的通道被切断，大唐西域驻军孤悬塞外，面临十分艰险的处境。
但是，北庭都护府仍有伊西北庭节度使李元忠统领瀚海、天山、伊吾三军的剩余兵力坚守，安西都护郭昕则率安西军控制着安西四镇，两地始终没有被吐蕃军攻陷。
后来李元忠和郭昕派遣信使绕道回鹘前往长安，入朝报告军情。
此时安史之乱早已平息，大唐也已经是唐德宗李适在位。
朝廷才知道西域两个都护府仍然完好，加封李元忠为北庭大都护﹑宁塞郡王，郭昕为安西大都护﹑武威郡王。
可是却无力给予任何兵力和钱粮的增援。
再后来高僧悟空从天竺取经回国途中，在龟兹见到郭昕，在疏勒﹑于阗和焉耆也都会见了当地的镇守使，说明这时安西四镇仍在唐军手中。
他们发动军民，屯田募兵，发展经济，铸造钱币，始终使用大唐的年号。尽管与中原彻底
断绝了联系，仍在遥远的西域维护着大唐的一方国土。
北庭被吐蕃攻占，此时李元忠已经于四年前去世，继任北庭节度使杨袭古带领二千余人撤往西州。联络回纥收复北庭失败后，杨袭古被回纥宰相颉干迦斯杀害。
大唐就此与安西失去了联络，不知安西都护府的存亡，事实上已经放弃了对安西的控制。