1894年中甲午戰爭爆發后,田中義一于1895年任第一師團參謀，為第一師團制定了動員制度。內容非常細致，完成度很高，幾乎是原方案被采用，其它師團也都把它借去使用。為此他得到認可，進入參謀本部第二部搞 報。田中學的是俄語，而且很不錯。到二部報到以后，
二部把他派到俄國去留學去了。田中在俄國干得很賣力，每星期都拉著認識的老毛子去教堂做禮拜，還參了沙俄軍，自己親自去掌握第一手資料。到了 俄戰爭前夕，成了陸軍首屈一指的俄國通。
當時伊藤博文出訪俄國，想和沙俄談判解決問題。田中仗著年少氣盛，在伊藤面前極力反對與沙俄談判，讓伊藤大為生氣。但是伊藤是生氣管生氣，對田中的才能還是很欣賞，在 俄戰爭時推薦他去滿洲軍當參謀。
據說在那里認識的還是胡子的張作霖，所以說本陸軍部最后定下來田中義一擔任第一軍軍長的理由之一，就是他和中國人的總統府參謀總長張作霖關系不淺，有助于幫助 軍提升在協約國聯軍中的地位和份量。
田中義一在打完俄戰爭回參謀本部時已經是讓人刮目相看了，加上田中又是長州人，“親不親，家鄉人”，這就升了一級，到主管作戰的參謀本部一部去了。在本陸軍參謀本部，一部是作戰部、二部是 報部。
這田中義一到一部以后，搗鼓搗鼓，弄出一份叫《隨感雜錄》的意見書，里面從國家戰略，軍事戰略一直侃到軍隊的組織，制度，通過兒玉源太郎大將就遞到山縣有朋元帥那兒去了。山縣一看，嗯，不錯，跟明治天皇一報告，回來對田中說：“你就搞個帝國國防方針看看吧”。
得到了 本陸軍之父賞識的田中就拉著海軍的財部彪大佐一起制定了個方案，規定陸軍平時要25個師團，戰時要50個師團，海軍要建成八八艦隊，接下來田中可謂一帆風順，1909年田中升任軍事課長，、第二旅團長、陸軍省軍務局長。
在此期間這廝主持修改制訂了《部隊內務書》、《步兵典》《輜重兵 典》、《陸軍教育令》、《陸軍補充令》，他在任中的作為證明了他的實力。1910年11月，他一直倡導的帝國在鄉軍人會成立。
該會是將已經結束現役的后備役軍人組織起來，既可削減國家軍隊維持費，同時又能把國家意志廣泛傳播到國民當中去（之后預備役也列入其中）。該會在起立之初僅以陸軍為對象，從1914年開始把海軍也加入進來，使該組織最終完善。
另外，他讓強烈批判軍閥勢力擴大到政界的大隈重信擔任帝人后援會會長，為此大隈不僅停止了對軍部的批判，還轉為軍部的擁護者，開始和當時的桂太郎首相、寺內正毅陸相接近。
此后，擔任軍務局長的田中與上原勇作陸相一起在第二次西園寺公望內閣時提出增設兩個師團以保衛朝鮮、滿洲等新開拓的領土，由于當時政府奉行財政緊縮政策，沒有答應他們的要求。上原陸相提出辭職，陸軍拒絕提出后任陸相人選，內閣不得不總辭職。這次事件成為第一次護憲運動的導火索。
1913年末，田中義一赴歐美考察，回國后創立了青年團組織，企圖通過官辦組織來對應歐戰開始后國內朝野思想混亂的局面。由于這個組織是針對小學畢業后到被征兵入伍之間的人員的組織，所以和在鄉軍人會一樣發揮著向國民傳播國家意志的作用。
1915年8月，作為幕后黑手，參謀次長田中義一少將策劃了向袁世凱提出臭名昭著的二十一條，當然，這事最后無疾而終，袁世凱對二十一條中的第五條是怎么都不敢答應，當然列強不容本獨霸中國也是一個重要的因素，所以后來袁世凱政府和 本政府搗鼓出來一個民四條約。
原來這二十一條分為五號：第一號要求繼承德國在山東的一切權利并擴大之；第二號要求擴大在南滿、東蒙的各種利權；第三號企圖控制漢冶萍公司；第四號要求中國沿海港灣島嶼概不租給或讓與他國；第五號要求中國中央政府聘用有力之 本人為顧問，等等。
本公使置益要求袁世凱接受這些條件，并絕對保密。袁世凱決定與 本談判，以最小代價了結此案。從1915年2月2
開始，外交總長陸征祥、次長曹汝霖等與 置益、
本公使館參贊小幡酉吉等人開始秘密談判。
后來中國有意地逐漸將談判內容泄露出去。在談判中中國代表對 本的要求有所抵制。
本方面不斷使用外交訛詐、武力恫嚇等相威 。4月26
本代表提出”最后修正案”，做了些小讓步。當時，國內反對”二十一條”的呼聲漸高漲，廣大人民群 激憤。
5月1
中國方面提出修正案，仍堅持自己的立場。
本政府刪削了第五號要求，于5月7
向中國政府發出最后通牒，限9
午后六時前答復。袁世凱政府最后妥協，接受 本提出的條件，25
本正式簽訂了《民四條約》。
《民四條約》由《關于南滿洲及東部內蒙古之條約》、《關于山東之條約》及另附的十三件換文組成。這些條約及換文的內容主要有：1在山東，
本不僅得以繼承德國的一切利權，還得到中國政府關于山東內地或其沿海島嶼一概不租讓于外國等許諾。
2在南滿，
本得到延長租借地及鐵路期限、其臣民得任便居住、往來并經營農工商業及租用土地等權利。3在東蒙，
本得到其臣民與中國人合辦農業和附屬工業等權。4漢冶萍公司可與本資本家商定合辦，中國不將該公司充公、收歸國有或使其借本以外的外資。5在福建，中國政府答應不 許外國在沿岸地方設造船所、軍用貯煤所及海軍根據地，也不借外資自辦。
《民四條約》的簽訂，使本侵略勢力在滿蒙、山東得到鞏固和擴展，在華中華南也有所增進。這也算是在幕后一手 本陸軍部參謀次長田中義一少將于1915年10月晉升中將的功勛之一。