这一战役首先是从河南开始，华北派遣军总司令冈村宁次大将调动第十二军的三个师团。另从绥远调来坦克第三师团，还有关东军第二十七精锐师团，以及在华北的三个旅团，约十五万大军，再加上驻扎在山西境内的日第一军一部，伪南京中央政府的张岚峰、孙良诚、庞烦勋、孙殿英等部，在大量飞机的配合下，集结了三十多万大军，气势汹汹地向郑州进攻。
国民军参加河南战役的是第一战区，总司令长官是蒋鼎文。此时，蒋手里有七个集团军。这七个集团军的主官是：
第四集团军总司令孙尉如
第十四集团军总司令刘恩茂
第十九集团军总司令陈大庆
第二十八集团军总司令李仙洲
第三十八集团军总司令李家钰
第三十九集团军总司令高树勋
第十五集团军总司令何柱国
这七个集团军共下辖十八个军，总兵力为三十万人。显然，国军力量严重不足。
冈村宁次的华北派遣军兵分两路，第一路军由第二军及坦克部队等部组成。四月十七日，日军第十七师团渡过黄河向郑州前沿的中牟地区猛攻。战役从此时开始。
国军守中牟将军是刘恩茂部将——第15军军长刘秉哲。面对强大的日军攻来，刘部拼死奋战，仍抵挡不了日军的强大攻势。经两天的坚守战，第15军全线溃退。日军乘势渡过黄河，向中原重镇郑州扑来。同时，日第三十七师团的第二十二联队已绕过正面战场，偷袭郑州的侧翼。当三十七师团赶到郑州城下时，日第二十二联队已攻占郑州，训练乏术的国民军撤出郑州。可怜的中原重镇、陇海和平汉两大铁路枢纽的郑州就这样地落入了敌手。真可谓失去容易，收复就难了。此时的刘恩茂不知是何滋味。
但那日寇则管不了那么多，初战得手，第二天就占领了新郑、尉氐，二十三日占领长葛。五月一日，中原名城许昌沦陷。五日堰城也失于敌手。五月十一日，日华北方面军在确山与北上的的日第十一军第十一旅团会师。日军在河南如入无人之境，平汉铁路中部地区全部陷于敌手。
与日军第三十七师团进攻郑州的同时，日军第二军从五月初从偃城等地向平地杀来。日山西第一军的两个旅团由垣曲向东南合击洛阳。洛阳乃第一战区司令部所在地。蒋鼎文见日军来势凶猛，立即调动大军迎敌。可惜远水救不了近火，仅两天时间，日军先后占领登州、临汝、襄城等城，逼进洛阳。蒋鼎文好不着急，一连数十道电令各部火速向洛阳靠拢。
且说重庆国民中央政府主席蒋中正，得到郑州失陷的消息，十分恼怒，连连电令蒋鼎文死守洛阳，违者军法处置。由于有韩复榘在前，叶肇在后，这两个集团军总司令都死于军律之下。因而，这位蒋司令官也不敢怠慢，布置军队在洛阳与日军决战。戍守洛阳的是第十五集团军何柱国的第14军之49师，该师九千余人。东北军将士本能征善战，接何柱国和第14军军长武庭麟的电令，王建庆师长组织部队死守城池。
日军攻洛阳的力量，显然比国军人数多得多，又有坦克第三师团一部的配合。你看那数以百辆坦克装甲车群起而动，漫山遍野地向城郊冲来。坦克的炮火是那样密集，洛阳城内，仅两三个钟头之间便承受了上万发炮弹。那爆炸声一阵紧似一阵，多少房屋倾刻间便成了废墟，不少平民百姓随之也死于侵略者的炮火之中。