诏书一出，便有御史中丞张守进言道：“陛下处宫室之安，则思二帝母后穹庐毳幕之苦；享膳合之奉，则思二帝母后膻肉酪浆之味；服细暖之衣，则思二帝母后穷边绝塞之寒；操予夺之柄，则思二帝母后语言动作受制于入；享嫔御之适，则思二帝母后谁为之使令；对臣下之朝，则思二帝母后谁为之尊礼：思之又思，兢兢栗栗，圣心不倦，而天不为之顺助者，万无是理也。今罪己诏数下，而天未悔祸，实有所未至耳！”高宗观奏章沉默不语，将其轻轻放在一边。
其时黄、汪二贼在朝中怨声极大，御史中丞张徵上书弹劾两人大罪二十，大略意思为：“潜善等初无措置，但固留陛下，致万乘蒙尘，其罪一；禁止士大夫搬家，立法过严，议者咸云：天子六宫过江静处，我辈岂不是人？使一旦委敌，归怨人主，其罪二；自真楚通泰以南，州郡皆碎于溃兵，重失人心，其罪三；祖宗神主神御不先渡江，一旦车驾起，则仅一两卒舁，致倾摇暴露，行路之人酸鼻下泪，宗庙颠沛，其罪四；建炎初年，河南止破三郡，自潜善等柄任以来，直至淮上，所存无几，其罪五；士大夫既不预知渡江之期，一旦流离，多被屠杀，其罪六；行在军兵，津渡不时，仓卒溃散，流毒东南，其罪七；左帑金帛甚多，不令装载，尽为敌有，府库耗散，其罪八；自澶濮至扬州，咸被杀掠，生灵涂炭，其罪九；谢克家、李擢俱受伪命，而反进用，其罪十；潜善于王黼为相时，致位侍从，故今日侍从、卿监多王黼之客，伯彦则引用梁子美亲党，牢不可破，罪十一；职事官言时病者，皆付御史台抄节申尚书省，壅塞言路，罪十二；用朝廷名爵以胁士大夫，罪十三；行在京师，各置百司，设官重复，耗蠹国用，如以巡幸而置御营使司，则枢密院为虚设，置提举财用，则户部为备员，罪十四；许景衡建渡江之议，挤之至死，罪十五；身为御营使，多占兵卫，不避嫌疑，罪十六；敌人相距，斥堠全无，止据道涂之言为真，致此狼狈，罪十七；敌骑巳近，尚敢挽留车驾，罪十八；卢益自散官中引为八座，遂进枢副，伯彦之客为起居郎，有罪补外，遂除集英殿修撰，二人朋比，专务欺君，罪十九；国家殆辱，不知引罪，罪二十。”
奏章来到高宗皇帝案前，仔细观看后回想当日在扬州时因黄、汪二人不察，以致兵临城下方知，又兼受到惊吓，使得面对后宫如花美眷，竟然无力从事，诸事种种，令高宗皇帝更为痛恨二人。
此时黄潜善、汪伯彦知道自己民怨极大，若是再留于朝廷之中，身居高位，只怕祸患更大，于是入内求见高宗皇帝。
二人在高宗皇帝面前痛哭流涕，数陈己罪，言词恳切，以求高宗免其相位，谪贬出城。高宗皇帝被二人所惑，又想到当日在扬州城中二人对自己的奉迎之情，便不再深究二人之责。下诏谕罢二人左右相为观文殿大学士，黄潜善知江宁府，汪伯彦知洪州。
虽然黄、汪二贼明为谪贬，但所去之处皆是江南富庶之地。江宁府为江南东路首府，洪州是江南西路首府，皆是外放官员求而不得之地。反观李纲，只因上疏直言，便被贬至鄂州，守卫长江。高宗皇帝对忠奸之分别，可见一斑。
此时金军东路完颜宗辅命其弟兀术继续南侵，兀术闻得高宗皇帝渡江逃亡杭州，便命刘豫知东平府，充京东、西、淮南等路安抚使，节度大名、开德府、濮、滨、博、棣、德、沧等州，而以其子承务郎刘麟知济南府。自旧河以南，皆为刘豫所得。而自己则厉兵秣马，准备直取杭州。
高宗皇帝在杭州安定下来之后，因贬了黄、汪二贼，便以朱胜非为尚书右仆射兼中书侍郎兼御营使，又因康履进言，非旦不以王渊渡江时的种种作为而处罚，反将其升为同签枢密院事。
此举一出，顿时令将士大为不满。而康履因与王渊结党，气焰更甚，毫不把诸将放在眼中。高宗皇帝在扬州时，便喜康履，因而其妄作威福，诸将多对其厌之。一路南逃过程中，左右宦者非但无丝毫紧迫之心，反于江中以射鸭为乐。来到杭州安定下来后，更是恣意妄为，江下观潮，中官供帐，赫然遮道，世人皆恶其行。
其时有大将苗傅，见二人跋扈之状，愤而切齿道：“汝辈使天下颠沛至此，犹敢尔耶！”
苗傅祖父苗授，父苗履，皆为北宋将官。高宗皇帝当初建元帅府时，苗傅便追随在侧，乃是从龙之臣。
此时高宗皇帝担心金军渡江来袭，便命大将杨惟忠守金陵，刘光世守京口，王渊守姑苏，分受二大臣节度。而韩世忠在海道未还，范琼自寿春渡淮，引兵之淮西境上。因此杭州护驾者惟苗傅一军