1940年，日軍在棗宜會戰中成功占領宜昌，但卻未能削弱中國第5戰區的威脅。

隨后的1941年1月，日軍發現中國第31集團軍，由湯恩伯率領，在信陽以北的遂平至項城一帶展開活動。為了再次打擊中國第5戰區的主力，開通平漢路并殲滅第31集團軍，華中日軍司令官園部和一郎集結了大約三個師團的兵力。在日空軍和其他部隊的協同作戰下，他們于1月上旬向豫南地區發起了強烈的進攻。

戰斗開始后不久，日軍的第18混成旅團、第39師團以及第4師團一部從湖北的當陽、荊門和安陸出發，強攻中國軍隊的第29和第33集團軍，意圖在豫南地區制造牽制，以便讓日軍主力順利進入并打擊湯恩伯的部隊。到了1月24日，日軍的第11集團軍分成三路向豫南地區發動進攻。與此同時，皖北和豫東的日軍也從三個方向發動進攻，以支援豫南的作戰。1月25日，豫南地區的日軍左翼展開進攻，包括小林店、古城和查山一帶，中路由明港附近向北推進，右翼則展開于槐角鎮和正陽間，強渡淮河并向前推進。

面對日軍的大規模進攻，國民政府軍事委員會發布命令，要求第5戰區避免與敵主力進行正面決戰。相反，他們采取了一部分軍隊在平漢路上進行持久抵抗，以牽制住日軍主力，另一部分軍隊則在敵后截斷其交通線，主力則通過外翼進行側擊。

為了執行這一戰略調整，第5戰區重新調整了軍事部署：第2集團軍主力集結于泌陽附近，第31集團軍分別集結于象河關及汝南以東地區，第84軍主力則向息縣舊治集結，第59軍向棗陽以北推進，第29集團軍向桐柏、新城集結。同時，第29和第2集團軍各編組若干有力支隊悄然潛入敵后，展開襲擾行動。

通過采取避免正面作戰、主力轉移的策略，中國軍隊成功使日軍無法準確鎖定其主力的位置。面對這一情勢，日軍迅速決定采取速戰出擊的戰術，試圖尋找并殲滅中國軍隊的主力。

26日，日軍成功占領確山、邢店、高邑、泌陽一線，27日又推進至駐馬店、沙河店、春水一線。29日，中國軍隊第31集團軍的第13、第85軍以及第2集團軍的第55、第59、第68軍分別發動襲擊，鉗制住日軍的左右翼。

在中路，由于中國軍隊的后撤，日軍的進攻變得毫無著力點。到了31日，日軍改變了戰術布署，將中路的一部分軍隊向兩翼迂回，試圖夾擊第85軍；與此同時，中路的日軍主力從遂平分兩路出發，意圖與左翼向舞陽前進的日軍夾擊第13軍。

中國軍隊在日軍合圍之前分頭轉移，成功使日軍再次尋找不到有效目標。與此同時，豫西的第59、第55、第68軍向舞陽的日軍發動進攻。由于日軍背后受到敵襲，聯絡線被切斷，再加上經過連日激戰，日軍疲憊不堪，對于尋找并殲滅湯恩伯部隊的計劃未能如愿。

因此，他們改變了進攻方向，在2月1日南進，4日攻占南陽，5日占領唐河。

中國軍隊迅速乘機反擊，逐步收復失地。在6日拂曉時，中國軍隊成功奪回南陽，迫使日軍于7日撤退至信陽。同時，皖北和豫東的日軍也在中國守軍的頑強阻擊下遭受重創。戰斗結束于6日，各路日軍分別撤退，戰局最終回復到戰前的狀態。

這場豫南會戰歷時17天，中國軍隊頑強地對抗了幾路日軍的進攻，共造成日軍傷亡9000余人，焚毀日軍汽車300余輛，并繳獲大量軍需品。