赵构听说杜充投降的消息，肠子都悔青了，几天吃不下饭，逢人就说杜充太不是东西了，亏我这么信任他，提拔他当宰相，谁承想他不但前线守不住，还投了敌。
杜充创造了一个历史，他是整个南宋甚至中国上下五千年唯一一个投敌的宰相。
岳飞带着部队在完颜宗弼（兀术）后方打游击战，打的全是胜仗，金军很是恼火，但又没办法，总不能现在回头和岳家军决战。
完颜宗弼（兀术）下了命令，加速南下，一心一意抓赵构。
早在金军渡江之前，吕颐浩就建议赵构说：“现在前线随时可能战败，但金军不习水战，朝廷应及早做好流亡海外的准备。金军在南方必不能久住，到时我们再回来。”
赵构一想，当初从扬州南逃，造成了不可挽回的损失，现在你又要我跑，还要跑到海上去，你是何居心？“这个事不急，我再考虑考虑。”
但是过了一晚，赵构想清楚了，与其逃的匆忙，不如准备充分，于是他对吕颐浩说：“航海这件事还是很有必要的，你快去找船。”
吕颐浩又建议道：“官家你一个人走不妥，我认为满朝文武都应该一起走。”
赵构深以为然，点头道：“寡人当然不能独自流浪，那成什么了？那不是流寇吗？没有大臣的皇帝还叫皇帝吗？”
赵构下令，所有在越州（今浙江绍兴）的中央官员，都要随他一起南逃。
长江保卫战开打不久，南宋朝廷就从临安迁到了越州，但是赵构这个命令一下，所有人都不淡定了，他们视圣旨为废纸，就地做鸟兽散，连太监都跑了不少。
主要是大家都有了扬州逃难的经验，他们认为不及早的脱离赵构，倒霉的就是自己。
赵构从越州南下的时候，只有吕颐浩等稀稀拉拉几个官员陪着他，他的家眷则不走水路，跟着孟太后去了江西。
十二月初，赵构一行来到明州（今浙江宁波），发现这里已经有很多海船在待命，他很高兴，这回总算能安全逃命了。
原来在今年春天的时候，监察御史林之平就到了泉州和福州一带，招募了很多船只，其中还包括了一百只米船。
赵构下令褒奖了广南东路（今广东）转运使赵亿，转运使就是负责后勤的专门官员，大约相当于财政厅、民政厅、交通厅等部门的联合一把手，实权相当于高官，赵亿募集的海船是最早来到明州的。
虽说来了不少船，可是赵构一行人可不少，所以朝廷规定，每条船只能运载卫士六十人，每个士兵只能带两个家眷。
士兵们不干了，张宝为首的一些人拦住吕颐浩问话道：“我有父、母、妻、子，你只让我带两人，那剩下的人怎么办？你这是要我们妻离子散吗？”
吕颐浩本性粗暴，他怒道：“你们这帮龟孙，平常操练的时候不用心，射箭连靶都射不中，现在国家有难，你们还跟我讲条件！”
士兵们被文官压迫已久，一听吕颐浩出言不逊，拔出刀就要杀了他。
参知政事（副宰相）范宗尹连忙拉住吕颐浩，劝他不要和士兵们起冲突，否则就要和当初王云一样被无辜杀害。他把吕颐浩拉入宫殿，其余官员则去劝和士兵，把士兵关在了门外。
赵构听说这个事，觉得身边的这些卫士太不可靠，别到时把自己绑了献给了金军，于是他先是安抚众卫士，等到他们散去便和吕颐浩等人商量对策。
最后赵构做了决定：“这帮家伙可能会坏了朝廷大计，你们去召集五百甲士，明天抓了为首的人，杀一儆百！”
吕颐浩出宫后马上密令御营都统制辛启宗、御营中军统制辛永宗和自己的亲军将领姚端做准备。
第二天一早，赵构亲自披挂上阵，带领辛永宗和姚端所部对宫中卫士发动了突然袭击。
众卫士猝不及防，四下逃窜，有的爬上了屋顶，有的狗急跳墙，赵构亲自弯弓射箭，射中了两名想逃的卫士，旁边一个太监大声欢呼：“陛下好箭法！”
来不及逃走的卫士纷纷束手就擒，最后，张宝等十七人被处斩于明州闹市，所有卫士被撤换，辛启宗兄弟率领御营中军几千人和姚端所部日夜护卫赵构。
处理了哗变的卫士后，赵构还不卸甲，冒雨出了明州东渡门，乘坐楼船前往定海县（今浙江镇海），陪他左右的只有宰相吕颐浩、参知政事（副相）范宗尹、御史中丞（国家检察长）赵鼎、中书舍人（中央办公厅秘书）李正民等不到十人的文官大臣队伍。
这次赵构没有强求所有人陪他上船，他知道，强扭的瓜不甜，他准许其余人在陆上跟随，或者原地待命。
此时，金军已经逼近临安府，他们一边用兵，一边招降，派出了使者联络宋廷。赵构得知金军要和他谈条件，于是就派范宗尹回明州（浙江宁波）接待。
范宗尹和金使接上了线，看到了金军的所谓国书，觉得对方十分嚣张，言辞之中全是污蔑和诽谤，所以也没有上报赵构。
范宗尹走后，赵构觉得静海县还不够安全，于是又逃到了海中的昌国县（今浙江舟山岛）。才到岛上不久，范宗尹回来了，告诉他，临安府陷落了。
完颜宗弼（兀术）占领临安府（杭州）后，得知赵构逃亡路线，派出精骑四千疾驰明州（宁波）。
金军长途奔袭，人困马乏，南宋大将张俊和明州知州刘洪道以逸待劳，联合部队击败了来犯敌军。完颜宗弼（兀术）连忙派出大军增援，张俊闻风而逃，撤离明州。
得知金军进犯明州，赵构觉得舟山岛也不完全了，他和大臣们商议，决定前往温州和台州（今浙江临海）一带。
1129年岁末，赵构的皇家船队从舟山岛启航，刚好遇到了海上的连日南风，当时附近渔民称作是“送年风”，意思是这个风是来送你过年的。
因为受到南风的阻力，船队行驶非常缓慢，到1130年的正月初一，船队实在走不动了，只好在海上抛锚停泊。
陆上的人们在庆祝农历新年，而南宋小朝廷却漂泊海上，在金军铁骑和大海鱼腹中求生存，回首往事，赵构倍感凄凉。
跟着赵构一路漂泊的中书舍人李正民，有感而发，作了一首诗自我解嘲：
云涛雪浪蹙天浮，隐隐征帆去未休。
蛟蛰伏藏舟楫稳，将军何用说防秋。
意思是一望无际的大海上波涛汹涌，我们的船队一眼望不到尽头，这海里危险重重但是我们的船很稳，所以你们当初说要提防秋季金军南下，防个毛线啊，现在都快到第二年的开春了，整个朝廷都在海上天天吃海鲜。
赵构也整日愁眉不展，海鲜吃的他都快吐了。就在他望着远方的海岸线发呆时，一条硕大的白鱼跳到了甲板上，吓了他一跳。
这时旁边陪伴他的吴夫人马上说道：“这是吉兆啊陛下。”
赵构皱了皱眉，问道：“什么吉兆，说来听听。”