徽宗在心里做出了决定，要撤掉任忠义的皇城使职务，由杨光华兼任。
徽宗认为，杨光华兼任皇城使，肯定要比任忠义强一百倍。徽宗觉得，经过跟杨光华二年多的朝夕相处，已经对杨光华有了一个全面、深入的，也是准确的了解和认识。他坚信自己的这个决定是正确的。
这么思虑了一会儿，他就考虑到了一个现实问题：任忠义的身份非常特殊，处理他的问题就特别敏感，稍不注意，就会牵涉到哲宗，就会被某些好事的人抓到把柄，跟哲宗联系起来做文章，说闲话，瞎议论。所以，把任忠义从皇城使的位置上拿下来，让他去哪里？怎样处理才能既达到了目的，又不会带来副作用？这，的确是棘手的，不容有半点大意的问题。
这么一想，他就两手按住龙椅的扶手，欠了欠身子，对杨光华说：“光华啊，咱们研究了球球的提拔问题和军事军队管理的改革问题。也许是触景生情连锁反应吧，自然我就联系到了另外一个现实的、也是必须要解决的问题，就是皇城司的问题。”
“皇城司的最高长官皇城使啊，从我登基以来就没有像模像样的干过事儿，自然也没有发挥应有的作用。太后在还政的时候，还有在崩世前交代身后事的时候，都给我说，要发挥好皇城司的作用，要高度重视皇城司的管理和作用。可是在我这里呢，却看不到皇城司有什么重大作用。就说几件事，当初曾布派人跟踪我派出去杭州的人，还监视我在京城的一切行动，我却没有接到过皇城司的报告。他们还不如梁师成那几个人。特别是皇城使任忠义，今年都快要过去了，一次都没来见我，更不用说向我汇报工作了。我研究过，大宋立国以来，每一届皇城司，都没有像这一届这样无所作为。朝廷养着这么一两万人的队伍，却是这么一种状况，我看谁当皇帝都不会满意。所以呀，我得解决这个问题，主要就是让任忠义换个地方。但是呢，让他去哪里、怎么处理才能让他既能够愉快接受，又不至于引起他的不满，免得有人在这上面做文章，说我是对先帝怎么着等等等