阿南惟幾吸取了第一次長沙會戰的教訓，并沒有一上來就投入大量的兵力進攻湘北主戰場，而是最先向新墻河以北的大云山地區發動進攻，以試探中國軍隊的虛實。
大云山位于湖南北部岳陽市所屬的岳陽縣和臨湘市交界處，屬幕阜山西北支，自古為江南名勝，道家洞天，志稱盤旋七十二峰，海拔9111米。這大云山往南數公里便是長沙門戶新墻河,自武漢失守之后，這里就成了第九戰區的重要前進陣地之一。
由于大云山地理位置的特殊性，易守難攻不說，距離日軍的勢力范圍還比較近，于是薛岳就把這里當做第九戰區的一個前沿觀察哨，并且派重兵駐守這里。得知日軍準備發起第二次長沙會戰，第九戰區緊急向大云山增派了守軍。
除了山頂由第4軍1個加強營守備以外,其西側還有第4軍第102師和第306團,東側為第58軍新編第11師的1個步兵營，總兵力約為五千八百余人，另外這里還駐有一個加強機槍連。鑒于日軍活動頻繁，第九戰區司令部命令第4軍立即對對面的日軍進行密切監視，必要時可以派出小部隊向日軍后方襲擊,破壞其交通設施。
大云山緊靠新墻河戰場，第四軍的小部隊襲擾令日軍極為不安，日軍第11軍司令部經過商議，認為大云山的存在已經嚴重威脅到了大日本皇軍的側翼安全，為了保證“加號作戰”計劃的順利實施,掩護第十一軍主力向新墻河以北集結,阿南惟幾命令原在岳陽地區擔任守備的第6師團對大云山進行掃蕩,解除這一側后威脅。
1940年11月4日晨,日軍第6師團第23、第45聯隊在航空兵支援下從忠坊向大云山北側雁嶺、詹家橋展開進攻,遭守軍阻擊后向東南側迂回;其第13聯隊向大云山西側進攻,與守軍第102師發生激戰。
同時、第九戰區第27集團軍還偵察到鄂南咸寧地區日軍第40師團有向湘北調動的跡象,作為老對手，他們對日軍的一舉一動還是比較清楚地，因此判斷第40師團背上肯定是為了與第6師團換防,日軍向大云山的進攻,是換防前的例行攻勢。
為了確保大云山方向的安全,11月4日上午十點整，第九戰區命令第58軍派出部隊協同第4軍作戰,并命令第20軍準備從通城向西側擊日軍,乘日軍換防時給以打擊。
對于日軍第6師團，第九戰區向來是比較忌憚的的，這個日軍師團日本陸軍的一個甲種師團，是日軍在二戰爆發前17個常備師團之一，裝備較精良。戰斗作風野蠻彪悍，盡管在歷次與中國陸軍的對陣中屢次遭到重創，但是其戰斗力卻并沒有下降多少。
這次第六師團主力抵達大云山東側之后，便迅速向東側的守軍展開猛烈進攻,大云山東側的守軍僅有第58軍新編第11師的1個步兵營，兵力不足400人，面對日軍第六師團的進攻，守軍雖奮力抵抗,但因日軍兵力、火力均處于優勢,堵擊無效,乃棄守大云山陣地。
日軍在占領東側陣地之后。以此為據點，向山頂以及西側陣地發動猛攻，甚至還調來航空兵協同作戰。激戰一晝夜，守軍損失慘重，但是讓然堅守陣地。
次日，第六師團主力一部在裝甲車的掩護下向大云山西側陣地發動進攻。然大云山海拔雖然不高，但是地勢卻很險峻，日軍的裝甲車只前進了不到300米就被阻于陣地前沿，在損失了20余輛戰車之后日軍不得已停止了進攻。
然而日軍第六師團師團長神田正種中將對于第六師團的表現極為不滿，當場勒令一個進攻不力的小隊長剖腹自盡，同時授權前線部隊可以使用特種彈。盡管在日本政府與陳鋒所部簽訂的協議中，雙方在戰場上都嚴禁使用特種彈。但是這個協議也就是在北方執行的還算比較徹底，日軍一般不敢使用毒氣彈和其它臟彈，以防遭到陳鋒所部的報復。
但是在華中華南地區，這個協議就沒那么管用了，雖然不到萬不得已日軍也不會使用毒氣彈，但是由于缺乏監督，一旦進攻不順利，日軍還是會鋌而走險。故態萌發的。
對此，不管是國民政府還是陳鋒都是一點辦法也沒有，日軍一旦決定使用毒氣彈，為了不被抓住把柄，往往會不惜一切代價消滅證據的，所以即便是知道日軍使用毒氣彈，也很難收集到他們的證據。
在毒氣彈的協助下。日軍終于攻占了大云山西側的陣地，鑒于日軍來勢兇猛，第四軍不得已只得命令山上的部隊后撤，棄守陣地。大云山失守。
大云山只是一個前沿據點，雖然極為重要，但是距離主戰場比較遠，根本不適合長期駐守。所以日軍攻占這里之后并沒有派部隊把守，而是命令工兵部隊對山上第九戰區修建的工事進行了徹底爆破，隨后日軍便撤離了大云山。
第6師團主力完成掃蕩任務后,便向桃林方向集結,準備執行下一階段關于進攻湘北的作戰任務。但是其第13聯隊卻在甘田、團山坡附近被中國第102師和第59師一部所阻,陷于苦戰。
與日軍第13聯隊作戰的這兩個師都是第27集團軍的骨干部隊，這個第27集團軍戰斗力雖然不是很強，在國民政府所有的40多個集團軍里面只能算是中等偏下，但是這個集團軍繼承了川軍一貫的硬氣，打仗頗為勇猛。
而第二十七集團軍總司令又是一個身經百戰的老軍閥，此人雖然在所有軍閥當中名聲不佳，但是抗戰之決心卻是川軍中最為堅定的。1937年全面抗戰爆發后，楊森就請命率部徒步行軍出川抗日，編屬于老虎將薛岳的第十九兵團，后來薛岳升任第九戰區司令，其部即歸屬于第九戰區，楊森所部也就被劃歸了第九戰區。
楊森在此期間浴血抗日，立下了多次戰功，華中地區所有的大戰幾乎沒有他不參加的，他率領的這支川軍參加了淞滬會戰、武漢會戰、長沙會戰等多次戰役。其麾下的部隊雖然裝備不足，缺乏彈藥、給養和醫療設備，大冬天士兵腳上穿的還是草鞋。
但是楊森部剛出川即赴上海參加淞滬抗戰，全軍在大場血戰5晝夜，守住了陣地，直到韋云淞的31軍和葉肇的66軍接防。而所率川軍18000余人，傷亡高達7000余人，楊森所屬之部是淞滬會戰中除裝備德國武器的王牌師中央軍88師、稅警團直屬隊外最能打的部隊，被評為淞滬戰場最能打的5個師之一，蔣介石立即下令優先給予補給換裝。
這次會戰雖然說是薛岳作為總指揮，但是抗敵的思路卻是楊森與羅卓英提出的，所以楊森極為重視，他可不愿意自己再被老蔣點名痛罵了，那句“輕棄名城，騰笑友邦”的評語時刻縈繞在他心頭。
在得知第四軍將大云山主陣地丟了之后，楊森當即電告第四軍軍長歐震和第59師張德能：“大云山可以丟，但是第四軍決不能撤，不但不能撤，還得想辦法拖住日軍的腳步，為戰區部署爭取時間，拖住日軍第六師團一個星期，第四軍可記一功，反之歐震和張德能自己和軍委會解釋吧！”
在楊森的高壓下，第59師以及配合作戰的102師死死咬住日軍第13聯隊的尾巴，雙方打得不可開交。第13聯隊加以配合作戰的炮兵第四大隊合計4600余人被阻于甘田、團山坡一線，面對一萬四千余中國/軍隊的圍攻，日軍倍感力不從心，不得已只得給神田正種中將發報，請求師團部給予作戰指導。
接到第13師團的求援電報之后，神田正種不敢怠慢，在經歷過多次帝國陸軍被成建制消滅之后，日軍的高級將領們現在也變得謹慎了，之前那種不可一世的狂躁不見了，他們終于把中國人當成了真正的對手看待，不知道中國.軍隊此時該是高興呢還是悲哀呢？
第六師團主力立即前往甘田、團山坡一線增援第13聯隊，趁此機會，第58師收復大云山陣地,而此時第九戰區向大云山增援的第37軍第60師亦已到達戰場,第27集團軍遂命新編第10師、第59師、第60師在日軍第六師團主力趕到戰場前包圍并殲滅當面日軍第13聯隊,定于次日拂曉開始攻擊。
然而,正當這3個師與第13聯隊激戰時,由咸寧西進的日軍第40師團重松支隊取小道趕到甘田,將包圍圈中的第13聯隊救了出來，然后向草鞋嶺撤走。隨后,中國軍隊向草鞋嶺方向追擊，并且對重松支隊展開進攻,雙方在草鞋嶺的狹小區域內互相爭奪,傷亡均重，戰局隨即陷入膠著狀態。