次日，众臣议定出海之事，高宗皇帝立刻返回越州。到得越州后高宗皇帝仍不敢留，便命安抚使李邺、两浙宣抚副使郭仲荀等守越州，自己则率百官往明州登船出海。
在明州筹措海船时，因船只有限，于是吕颐浩等人便下令每艘船上除百官及家眷外，只可载诸班直卫士六十人，并且要求卫士家眷只可使两人登船。
此令一出，顿时引来卫士不满，众人齐聚于主管禁卫入内内侍省都知陈宥面前道：“我有父母，有妻子，不知两者如何去留？”陈宥闻言，心中不忍，但诏令已出，却也无可奈何，只得好生劝慰众人。
此时正值左相吕颐浩入朝，卫士张宝望见，便率百余人遮道，质问道：“敢问相爷，圣上此行，欲乘海舟何往？吾等诸军又往何处？”
吕颐浩见其出言不逊，态度强硬，便怒斥道：“班直平日教阅，何尝有两箭上贴！今日之事，谁为国家死战者？”
众卫士本就因诏令不满，又被吕颐浩当众斥责，顿时群情激奋，便有卫士揪住吕颐浩，欲将其打杀。
此时正好参知政事范宗尹来到，连忙上前好言相劝道：“此岂可以口舌争？”其余众官将卫士阻住，范宗尹趁乱将吕颐浩救出，拉其衣襟，引入殿中。
入得殿中，范宗尹恐卫士生乱，便命人将大门紧闭，一众卫士被阻门外，虽高声叫骂，却是不得而入。
此时高宗皇帝也听闻此事，便对众臣说道：“闻人事纷纷，不欲入海，缓急之际，岂可如二圣不避敌，坐贻大祸。今以御笔谕之。”
吕颐浩与参知政事王綯连忙捧御案近御座前，高宗皇帝当即写诏以慰中军，众卫士见了皇帝诏谕，这才人情稍定，于是拜于殿前，三呼万岁而退。
待得众卫士散去，高宗皇帝密召吕颐浩前来，说道：“此辈欲沮大事，朕今夕伏中军甲士五百人于后苑，卿等翼日率中军入朝，捕为首者诛之。”吕颐浩领命告退。
当夜，吕颐浩密谕中军统制辛企宗及亲军将姚端入府，命二人暗中调动御营军，以备次日发难。
次日早朝，吕颐浩命御营使司参议官刘洪道部兵于宫门处防止兵变，而自己则与部将姚端冲入行宫之中，但遇诸班直卫士，皆擒之。一时间宫中混乱，卫士四散奔逃，或爬上屋顶，以避捕杀，或越墙而去，远遁千里。
而高宗皇帝此时早已顶盔贯甲，听到宫中混乱，便起伏兵出宫与御营军共讨卫士。来到殿外，见屋顶处藏有卫士二人，高宗皇帝因心中愤恨，迸发出从未有过的狠劲，弯弓搭箭，将二人射中，坠于屋下。
诸班直卫士见皇帝发怒，且御营军四处捕杀，知道事不可为，无奈之下，只能束手就擒。宫中之乱平息后，高宗皇帝命召吕颐浩至都堂，诘为首者以奏，其余皆囚之。数日之后，又将为首卫士张宝等十七人诛于明州市中。
就在明州高宗皇帝与卫士因登船之事闹出一番闹剧之时，兀术则一路攻城略地，先是攻陷常州，又向南攻陷广德军。接着转向东南直插湖州安吉县，焚县而去，进兵临安府。
兀术大军行至湖州与临安府交界处，路过独松关，见如此险峻关隘，竟无一名宋兵把守，便大笑道：“南朝若以赢兵数百守此关，吾岂能遮度哉！”说罢率大军过关直取临安。
临安知府康允之闻兀术大军已到，不战弃城而逃，退保赭山。兀术大军几乎是兵不血刃便攻破临安府，尽收府库钱粮供应军马。
兀术得了临安府，令手下大将迪虎攻打钱塘县。城中知县朱晔，为人忠肝义胆，闻兀术来犯，乃与康允之商议，愿自率弓手、率军往前路拒敌，使杭州百姓可以逃脱生天，康允之同其意。
朱晔率军行至县外二十里处，正遇迪虎军，敌我相见，分外眼红，朱晔身先士卒，挥刀迎战。两军箭如飞蝗乱射，死伤不计其数，朱晔身中两箭，被左右亲卫带至天竺山上，仍率乡兵死战不退，数日之后以身殉国。
金军击破朱晔，顺势取了钱塘，迪虎使人回报兀术。兀术闻讯叹道：“若南朝宗泽尚在，李纲用事，焉能使我渡黄河、济长江？”
此时兀术探得高宗皇帝意欲自明州出海，便自留安府，使斜卯阿里、乌延蒲鲁浑以精兵四千追击。又命讹鲁补、术列速攻越州，越州知州李邺、宣教郎袁潭献城投降。其时两浙宣抚副使郭仲荀在越州，金军未至，便乘海舟潜逃温州。
击破越州后兀术再遣完颜布辉从阿里、蒲鲁浑破宋兵三千，飞渡曹娥江，至明州境内。
张俊此时为高宗皇帝断后，便使统制刘宝与之交战。却被金军杀的溃不成军。正在危急之时，张俊部将、御前右军统领杨沂中于舟船上看见，心中火起，便指挥舟船泊岸，与田师中、赵密杀入金军中，力战多时，斩金军数百。随后殿帅李质引班直来助，与金军杀伤相当。
随后明州守臣刘洪道、浙东副总管张思政率