裴虔通担心旧事重提，为躲避萧珺，自己主动请旨调任地方官，不知其中原委的李世民把他派往辰州（湖南省沅陵县）担任刺史。
到了辰州原本刚刚落脚，原本以为天高皇帝远，能避开陈年旧事。万没想到这个刺史当了不到五日，朝中派来使官，裴虔通知道是福不是祸，是祸躲不过，只得换了官袍，匆匆到门前来迎。
朝中的使官正是大将军皇甫无逸，裴虔通与皇甫无逸原本在大隋就是同僚，归顺大唐又是老友，再熟悉不过。不等皇甫无逸下马，裴虔通赶忙笑脸相迎，躬身作揖，本以为两人是老交情好说话，怎知皇甫无逸翻身下马，也不还礼，到是把脸一沉，举起圣旨，：“裴虔通听旨。”
裴虔通一看皇甫无逸脸色不对，不敢多问，撩袍跪倒：“微臣听旨”。
皇甫无逸读道：“奉天承运，皇帝诏曰：自古君为臣纲，父为子纲，君臣父子，国之大礼。前朝皇后萧氏归国，列举裴虔通参与江都宫变，谋逆弑君，罪大恶极。着令追查江都宫变，缉拿裴虔通回京问罪。钦此。”
裴虔通一听大惊失色，吓得长跪不起，皇甫无逸把圣旨卷起，扔给裴虔通，对麾下官兵一挥手，左右兵士捆绑裴虔通，立刻查抄刺史府，押送钦犯回京。
瑟瑟的秋风卷着黄叶，扫荡着荒凉的路面，囚车的两个木轮晃晃悠悠的滚动着，两侧都是朝中的禁军兵士，银甲映光，令人心寒。被扒掉官府，摘取乌纱，手戴枷锁的裴虔通绝望茫然的坐在囚车之中，举目四夷，兴盛的大唐只给他带来了一丝忧愁。
囚车一侧传来了零碎地马蹄声，马上坐的正是皇甫无逸，裴虔通苍白无力的问道：“皇甫将军，此去京城恐永不能再见了。”
“唉……”皇甫无逸虽然冷峻，但此时荒凉的路上，也对裴虔通怀有一丝怜悯和惋惜，无逸说道：“命当如此，兄长好自为之吧。”
“看在往日情份上，皇甫将军可否借我笔墨一用？”
“兄长用笔墨何用？”
“我与将军皆是是降唐