徐卫真的走了，走得非常干脆麻利，丝毫不拖泥带水。交割公务、变卖地产、举家迁居，没有拖延不前，没有讨价还价，没有旁枝末节，如果说他是以辞职要挟朝廷或者有其他什么图谋，能这样么？
所以，当杭州清楚这一切后，皇帝大臣都放了心。自然的，还有一些不解。但这种不解几乎可以忽略掉，太祖皇帝陈桥受禅后，就不动干戈，以一种非常平和的方式，解除了开国功臣们的兵权。当时，那些追随他打天下的老弟兄，也不曾见有谁反抗或者说抵触？在一个“文治”的国家里，武臣就应该是这样。
甚至连秦桧也终于相信了，徐卫不但辞职，而且非常自觉地选择迁居四川，离开陕西，他的根据地，一切都好似在为朝廷考虑一般。秦桧当然不相信徐卫有这种高风亮节，他将徐卫这一系列的举动解读“识时务”。天下太平，就该刀枪入回，马放南山，这是大势所趋，任何人都不可能逆潮流而动，包括徐卫。识时务者为俊杰，所以，徐卫也算是个俊杰吧。
但是，秦桧认为这并不意味着，徐卫这个潜在的威胁从此消除了。他虽然去职，放下了权力，但其在川陕无与伦比的影响力仍在。对待徐卫，还要听其言，观其行，一直盯着他，不能放松警惕。
有鉴于此，他提醒权代宣抚使职权的刘光世，要随时注意徐卫的一言一行，但有什么风吹草动，马上报告朝廷。
秦桧虽然不打算就此“放过”徐卫，但就个人角度而言，徐卫对他没什么威胁，反而是出知泉州的徐良，才是秦会之的心腹之患。徐良虽然出朝，他的党羽也散了，但是和他的堂弟一样，余威仍在。
而且徐良显然不如他的堂弟低调，虽然人离开了中枢，离开了权力核心，但“心”还在朝廷。正如范仲淹所言“居庙堂之高则忧其民，处江湖之远则忧其君”。徐良离开杭州之后，半道上都还在向皇帝上书，阐述方略。他坚持认为，大宋应该趁现在将士还未懈怠之时，一劳永逸地解决问题，而不是拖延。更不可对金国抱有幻想，女真人的反复无常，国朝早就领教过了，必须得长长记性。
同时，他又论述了宋、金、辽三足鼎立的情况下，大宋应该何去何从。其看法，深受徐卫影响，那就是坐等实力的此消彼长。此外，徐良很不明智地在上奏中多次规劝皇帝，不要任用宦官，不要放纵后宫。
他的这些上奏，皇帝或许没有当回事。但刘皇后、沈择、秦桧之流却深恨之。你都已经混成这模样了，都去作个知州了，怎么还这副德性？是嫌不够惨么？正因如此，这伙人打定主意，徐卫已经下野，且不管他，集中精力处理好徐良的事。
在中宫的授意下，前朝闻风而动，秦桧一手改组的台谏，立马火力全开，炮轰徐良。先还是就事论事，斥责徐良包藏祸心，中伤后宫，倚仗往日的功绩，不把朝廷，不把皇帝放在眼里。后来就扯远了，几乎把徐良的老底都翻过来。
你说，一个在台面上执政多年的人，一个搞政治的人，怎么可能白璧无瑕？要是较真，谁敢说他完全干净？于是，言官们抓住一些小问题，大肆攻击，非要把徐良塑造成一个结党营私，败坏朝纲的奸侫。
最后，秦桧出面，奏请皇帝要处置徐良。赵谨虽然是个没谱的人，也不太有主见，但还算是一个念旧的人，总想着徐良当年拥立他继大位，多年来又苦心经营，正是在他执政期间，大宋才得以扭转局势，功劳还是主要的。
因此，心里是不同意秦桧等人对徐良的定义的。但朝中言之凿凿，众口一辞，你不能没点表示吧？于是，下诏斥责了徐良。秦桧把上拿这根鸡毛当令箭，徐良所在的泉州，属于福建路治下。他查到，现任福建路的宪司漕司等负有监察现任部门的长官，都是徐良在台时任命的。遂立即动用中书的人事权力，撤换了福建转运使，委派他的亲信。并告诫对方，此去福建，本职工作还是次要，主要任务，则是监视徐良，不管有事无事，每月汇报一次。
想徐良深受其父影响，以中兴大宋为己任，即使不在相位上，仍关心国事。没想到，皇帝居然下诏斥责，感情上很难接受。在泉州任上，根本不理公事，一切都委给通判和参军。终日在家中读书作文，仍不忘给朝廷上书。不久，徐卫辞职的消息传到泉州。徐良去职之时，便已经猜到朝中异己势力不可能仅仅只针对他一人。一旦自己下台，下一个目标就是徐卫。
到泉州这些日子，他一方面为自己的遭遇感到悲愤，另一方面，更放心不下堂弟徐子昂。诚如他对徐四所说，倘若老九被逼急了，放不下权位，作出出格的事情来，那么徐家就真的万劫不复了。现在，徐卫既以辞职，那显然是把他的话听进去了。至少在这一点上，他算是放了心，剩下的，不过就是抒发自己忧国忧民的情怀而已。
徐良徐卫两兄弟都下野，但还是有较大的区别。徐良虽然是主动辞职，但当时情况已经逼得他退无可退。而徐卫，则是“闻风而动”，不等朝廷开口，主动闪人。秦桧曾经说过，对川陕要徐徐图之，先是收权，然后掣肘，再后是分治，最难的就是收徐卫兵权，这恐怕不是三年五载能办成的事。所以，如果徐卫不自己下台，那他十年以内都还可能握着西军兵权。
其次，徐卫下野，是以退为进，有自己的考虑。说白了，总有一天，我胡汉三又回来了！但徐良不同，自决定辞职之日起，他就认为，此生恐怕是无望再回中枢了。也正是为这个想法，所以，他才没有顾忌，想说什么说什么。反正，我也没有权力了，没有地位了，该夺的你们都夺去了，还能把我怎么样？***