可赵光义却不听劝阻，一意孤行，下令枢密使曹彬发兵北上，然而宋军中的各位将军却深知民意，故各种托辞不肯出兵，一再延缓发兵时间，对于部下的消极态度，赵光义龙颜大怒，一方面加紧征调粮草，一方面对消极应战者严惩不贷，赵光义收复幽云十六州的决心已下，却不知此举差点给宋王朝带来了灭顶之灾。

辽军方面及时侦破了宋军的企图，对幽云十六州加强了战备，早在宋军攻击北汉时，辽国便派大将对幽云十六州进行紧急戒备，已经猜测到宋太宗在消灭北汉后要继续攻占此地了，因此在幽州地区集结了二十多万的兵力。

宋军分兵东进，跨越太行山，抵达河北正定，又从河北正定出发，找到向导，出其不意进入辽地，战争初期，辽国地方官员未曾想宋军神兵天降，涿州判官刘厚德相继献易州、涿州投降宋军。宋军势如破竹，很快便到达幽州城下，在与守军发生激战后互有胜负，宋军将幽州城团团围住，通过挖地道等方式想要进城，后被辽军发现，生擒不少宋军，辽景宗耶律贤于六月三十日闻知幽州被围，急忙派兵增援，辽军对宋军的反击由此开始。

宋军虽然将幽州团团围住但幽州城久攻不下，加上长途跋涉，未及休整，宋军士气逐渐低落，此时辽国援军已经赶到幽州，赵光义急忙调宋军截击，两军于高梁河发生激战，前来救援的耶律沙大军在与宋军激战后败退，然而当时的宋军已经人困马乏，虽然暂时取得胜利，但并未乘胜追击，赵光义未曾想到，耶律沙大军败退后，耶律休哥的援军再次袭来，赵光义措手不及，遭受车轮战的宋军已有怯意，耶律休哥与幽州城守军耶律斜轸各自统帅精锐骑兵在夜晚偷袭宋军，宋军溃败，三路军队共同夹击宋军，宋军死伤万人，连夜仓皇南逃，溃不成军，路上踩死踩伤者不计其数。

宋太宗与诸将各自走散，情况十分危急，万般无奈之下，眼看辽国追兵赶到，宋太宗找到一辆驴车急速南逃，辽军耶律休哥也拼了老命，在身受重伤、重度昏迷的情况下，由左右将其扶上马车，代其发号施令，继续追击。一直追到涿州城下，获得兵器、符印、粮草、货币不可胜计。此战赵光义所率宋军大败，直接为后来宋朝的虚弱怯战埋下了伏笔，自高梁河一战，辽军士气大盛，宋军从此畏之如虎，后来由于宋朝实行重文轻武国策，使得宋军战斗力逐年下降，到了宋朝末年，宋军只有被动挨打的份儿，加上女真人崛起，宋朝面临两大强敌，毫无招架之力。

高梁河大战失败后，宋太宗赵光义回朝后勃然大怒，将此战所有过失全部推到诸将身上，贬西京留守石守信为崇信军节度使，彰信军节度使刘遇为宿州观察使，同时因为北征不利，连平太原之赏也免了。军中多有怨言，而敢怒不敢言，赵德昭（赵匡胤之子）极力劝谏，认为宋太宗此举有损皇家体面，会丧失军心人心，没想到宋太宗反迁怒于赵德昭，一想起当初自己深陷困局中，朝中竟有人提议立赵德昭为太子，宋太宗更加怒不可遏，冷冰冰的对赵德昭说了一句话：”待汝自为天子，赏未晚也!”赵德昭心灰意冷，回到府中便拔剑自刎了。

高粱河一役作为辽宋关系的重要转折点直接造成了日后的宋连战连败，到澶渊之盟，至此宋对辽已然完全处于下风，并直接对其经济造成极大的影响。辽成为一个威压北宋，雄踞中国北方的庞大帝国一直到被金所取代。高粱河一战影响深远。