。
唐恪对赵桓说：“唐自天宝而后，屡失而复兴者，以天子在外，可以号召四方也。”
唐恪甚至考虑到，京畿禁军以及天子卫队可能会留恋亲眷与故土，不一定愿意护卫赵桓离京，所以他又建议赵桓速召四道总管领兵护卫赵桓前往陕西。
赵桓被唐恪给说服了，觉得唐恪说得很有道理，因此接受了唐恪的建议。
可不等唐恪着手张罗此事，赵桓便跟何栗说了唐恪的建议。
何栗一听唐恪要蛊惑赵桓跑路，坚决反对。
何栗对赵桓说：“当年周室东迁，亦无唐恪之害大也。唐恪此举，乃同不肖之子卖爷田也。”
赵桓身旁的内侍们舍不得繁华的东京汴梁城，不愿意去苦寒的黄土高坡，所以也都不赞成唐恪的建议，他们纷纷劝赵桓留在东京。
见众人全都反对离京，赵桓遂幡然而改，绝口不再提西幸长安一事。
后来，当唐恪来催促赵桓赶紧动身时，赵桓很生气，他狠狠地用脚跺着地面说：“朕当死守社稷！”
唐恪当即傻眼，他想不明白，赵宋王朝都如此危急了，赵桓怎么还反复无常？
而在民间，汴梁城中的军民普遍认为，唐恪是一个俗吏，昏懦无能，人们甚至想找机会揍他。
所以，郭京这么说唐恪，也很正常，不少赵宋王朝的大臣也没有因此怀疑郭京是在狡辩。
这天晚上，唐恪乘轿外出，被百姓发现。人们皆向他抛砖扔瓦，将他手下人用来照明的灯笼都打破了。
在忠心的小厮和亲卫的保护下，唐恪果断弃轿换马，才得以逃脱一命。
回家后，唐恪立即上书请求致仕。
侍御史胡舜陟也趁机上奏，弹劾张邦昌、唐恪与聂昌。说张邦昌、唐恪和聂昌智虑短浅，不能经画边事，又说赵宋朝廷若继续留用唐恪与聂昌这几个奸臣，则所有政事不修，威刑不振，人材无一可用，将士不肯用命……
赵桓也觉得，唐恪已失人心，不适合继续担任宰相，遂免去其