河北人民忍受不了金兵的掠夺烧杀，纷纷组织义军，打击金军。李纲竭力主张依靠义军力量，组织新的抗金队伍。宗泽到了开封之后，积极联络义军。河北各地义军听到宗泽的威名，自愿接受他的指挥。
河东有个义军首领王善，聚集了七十万人马，想袭击开封。宗泽得知这个消息，单身骑马去见王善。他流着眼泪对王善说：“现在正是国家危急的时候，如果有像您这样的几个英雄，同心协力抗战，金人还敢侵犯我们吗？”
王善被他说得流下了感动的眼泪，说：“愿听宗公指挥。”
其他义军像杨进、王再兴、李贵、王大郎，都有人马几万到几十万。宗泽也派人去联络，说服他们团结一致，共同抗金。这样一来，开封城的外围防御巩固了，城里人心安定，存粮充足，物价稳定，恢复了大乱前的局面。
但是，就在宗泽准备北上恢复中原的时刻，宋高宗和黄潜善、汪伯彦却嫌南京不安全，准备继续南逃。李纲因反对南逃，被宋高宗撤了职。
宗泽十分焦急，亲自渡过黄河，约河北各路义军将领共同抗击金兵。他在开封周围，修筑二十四座堡垒，沿着黄河设立营寨，互相连接，密集得像鱼鳞一样，叫做“连珠寨”，加上河东、河北各地义军民兵互相呼应，宋军的防御力量，越来越强了。
宗泽一再上奏章，要求高宗回到开封，主持抗金。但是奏章到了黄潜善等手里，这批奸人竟取笑宗泽是个狂人，把他的奏章扣了下来。过了不久，宋高宗就从南京逃到扬州去了。
没有多久，金兵果然又分路大举进攻。金太宗派大将兀术（音ｗùｚｈú，又叫宗弼）进攻开封，宗泽事先派部将分别驻守洛阳和郑州。兀术带兵接近开封的时候，宗泽派出几千精兵，绕到敌人后方，截断敌人退路，然后又和伏兵前后夹击，把兀术打得狼狈逃走。
又有一次，金将宗翰率领金兵攻占洛阳，宗泽派部将郭振民、李景良带兵袭击宗翰，打了败仗。郭振民向金军投降，李景良畏罪逃走。
宗泽派兵捉拿到李景良，责备他说：“打仗失败，本来可以原谅；现在你私自逃走，就是目中没有主将了。”说完，下令把李景良推出斩首。
郭振民向金军投降之后，宗翰派了一名金将跟郭振民一起到开封，劝宗泽投降。宗泽在开封府大堂接见他们，对郭振民说：“你如果在阵上战死，算得上一个忠义的鬼。现在你投降做了叛徒，居然还有什么脸来见我！”说着，喝令兵士把郭振民也斩了。
