岳飞在宗泽的关照下，从一个戴罪之身已经升到了正七品的的武功大夫，任职昌州防御使、通、泰等州镇抚使、兼知泰州。现在，杜充是他的直属上级。
“你懂个球，北方大局岂是你我能左右，我军往南收缩防线才是正途！”杜充去意已决，岳飞当然拦不住他。
如果宋军不走，眼前只有三条路：一是等待金军围剿，二是退到深山和金军打游击，三是被金军收编。
三条路都不好走，所以在杜充看来，只有往南才是王道。而岳飞是宁愿去打游击也不愿南撤。
宋军南撤，当然不是杜充一个人说了算，赵构也经过了深思熟虑。
金兵轻轻松松就打到了长江边上，说明北方的防务空虚，以宋军现在的实力，想保住北方希望不大，那就不如保存有生力量，退到长江防线，先守住半壁江山。
为了保住开封，南宋已经花了大量的人力物力，现在国库空虚，根本无力再支持和金军全线作战，如果前线钱粮不济，官军很可能沦为流寇。
吕颐浩和张浚都是主战派，他们也认可赵构的观点，当务之急，不是和金军死磕，先稳住南宋的基本面再说。
于是，不顾岳飞的苦苦哀求，杜充带着主力军毅然决然的走了，岳飞没有办法，只能跟着南下。
宋军南撤的同时，赵构又派出使臣向金国求和，他在国书中自贬为“康王”，不再以大宋皇帝自居，诚意满满。
赵构这么做，一方面是希望金军不要赶尽杀绝，我都已经这么卑微了，你们行行好放过我，另一方面，他也想借此麻痹金军，让南宋有喘息的时机。
但是赵构知道，他这么做肯定会引来愤青的责骂，说他没有血性没有羞耻心。但是他已经想通了，老子都成了废人，你们再骂狠一点又何妨。
杜充撤离开封时，宋廷任他为淮南、京东、西宣抚处置副使，许他“便宜行事”，等于是把北方中原地区的防务托付给了他，但是杜充不撤则已，一撤就撤到了建康府（江苏南京），把中原地区拱手让人。
但是，现在长江防线的重担，又只能交给杜充，因为朝中无人啊。
纵观整个宋廷，有作战指挥经验的高级文官，要么死了，比如宗泽，要么不在长江地区，比如张浚去了陕西，杜充是现成的人选。
本来吕颐浩说他去，可赵构白了他一眼道：“你走了，朝中没有了宰相，我成了光杆司令，成何体统？”
靠武将来统领三军，那是万万不能的，不说太祖赵匡胤定下了武将不能统兵的规矩，单单是赵构也刚刚被武将闹的灰头土脸了。
1129年七月，杜充升任同知枢密院事，成了南宋军方的二把手。
但是杜充不满足，因为军事主官在宋朝一直是屈居文官下面的，宰相比枢密使就是高级一些。
他对朝廷称病道：“本人病入膏肓，不堪大任！”意思是我要撂挑子了，你们谁愿意干谁去干。
赵构知道杜充这家伙就是在嫌弃官职不够高，但也没办法，只好把吕颐浩升为左相，空出右相的位置给了杜充。
古代以左为尊，左相是首相，右相就是副相，杜充成了宋廷当政的二把手，地位还在张浚的知枢密院事之上。
这下杜充也知道自己的官升到头了，再升的话就触犯众怒了，于是他立马上书说自己病好了，可以开始工作了。
赵构的卑微并没有换来金国人的同情，反倒让金国人觉得这小子没种，不打你打谁？1129年十月，金军分两路路南下，开启第三次侵宋战役。
金军元帅左监军完颜昌（挞懒）负责淮南战场，四太子完颜宗弼（兀术）负责江南战场，宗弼自带一路，计划先占建康（南京），接着直捣临安府（杭州），另一路兵马由完颜拔离速和耶律马五等指挥，从黄州（今湖北黄冈）渡江。
杜充总负责长江防线，但是他心里有数，这个仗很难打。
难打不是说金军的战斗力就逆天到不可战胜，主要是宋军内部矛盾的不可调和。
两年前的靖康之难也是如此，各方掣肘导致宋军一战而溃，现在的长江防守部队同样存在这个问题。
杜充名下的军队主要分为三部分，一是刘光世和韩世忠的中央军，二是杜充在北方带过来的地方杂牌军，三是在北方收编的起义军，这里面有不少流寇。
这样的阵容一看就是乌合之众，不要说通力合作，不落井下石就是好事，关键时刻，谁都希望别人冲在前面，和金军打个两败俱伤，然后渔翁得利。
最外围的防守力量当然是起义军，但是起义军会认真出力吗？想都不要想，他们不投敌就很给面子了，他们会拿空间换时间，敌进我退。
中央军也是一样，赵构也有自己的小九九，中央军要是打没了，他这个来路不明的皇帝可就真的成了孤家寡人了，所以中央军也不会太出力。
你中央军和起义军都不出力，我杜充又不是傻子，我好容易归拢的地方军怎么能去当炮灰呢？
所以，在长江保卫战前夕，杜充积极的调动各方部队，希望大家精诚合作，打个漂亮的翻身仗，那么他也能给凭借战功再上一层楼。
可杜充高看了自己，连在西军德高望重的种师道都对几路大军的协调无能为力，他一个刚上位的文臣哪里指挥得了底下这帮大头兵。无论他怎么努力，这些军人都在磨洋工。
杜充一看这情况，得，大家都混日子吧，于是他也懒得去整顿防务，天天饮酒作乐。
兀术（完颜宗弼）觉得，上次在扬州让赵构跑了是非常大的失误，这次他亲率大军南下，就是想亲手抓到赵构，所以他给这次行动取了个代号叫“搜山检海捉赵构”，意思是就算搜遍中国的山河湖海也要捉到赵构，再不能让这龟孙跑了。
赵构听到这个行动代号有些害怕，毕竟金军的战斗力是有目共睹的，几千人就敢追着大宋皇帝满世界跑，所以他到建康府（江苏南京）督战了一番，做了做样子，又回到杭州去了。
杭州此时已经改名叫临安府，赵构表示自己只是来临时安顿一下，运筹帷幄之中，决胜千里之外。等到战事平定，他还要回到北方去。
当然，他也做好了万全的准备，大将张俊就守在身边，战船也准备就绪，一有风吹草动，就可以出海远逃。
兀术（完颜宗弼）带领流寇头子李成对长江北岸的宋军发动了猛烈的攻击。
金军先是进攻太平州（今安徽当涂），打算在采石渡江，但是受到了宋军的激烈抵抗，为了不影响迅速拿下建康府的战略目标，兀术决定改从马家渡过江。
马家渡位于建康府西南五十公里处，一旦金军渡过马家渡，建康府岌岌可危。
杜充当然知道金军随时可能从任何一处沿岸渡口过江，但是他毫不在意，还向朝廷表示，长江防线固若金汤，请赵构放心。
直到有一天，杜充收到了前线战报，金军已经过了马家渡。
兀术（完颜宗弼）原以为在马家渡会受到宋军的激烈抵抗，可当他赶到马家渡时，只发现江面上一只孤零零的小船。
金军轻松获胜，最后清点尸体，只发现十八个宋军将士，负责划船的艄公身中十七箭。
不应该啊，马家渡这么重要的关隘，宋军应该派大军驻守的，随后兀术（完颜宗弼）得知，本来这附近有一支郭吉率领的宋国水军，可是郭吉一听到金军来了，扔下马家渡带着船和人就跑了。
兀术（完颜宗弼）冷笑道：“宋军腐败至此，不败给我就见鬼了，赵构，等着我！”
得知马家渡陷落，杜充有点慌了，连忙派出都统制陈淬率军两万去马家渡阻击金军，陈淬麾下，有将领十七人，岳飞就是其中之一。