在千葉富與小山高朝分別離開以后，上杉政虎還是在鐮倉山內館（山內上杉家的發源地）又滯留了幾天，原因是因為下一任古河公方的人選陷入了爭議當中。
原來，雖然沒能打下小田原城，但關東聯軍攻陷古河御所這樣的城砦，問題還是不大的，隨后，那位北條家的傀儡“葛西殿”足利義氏就被驅逐了。
不過上杉政虎與越后諸人卻是很清楚，古河公方是不能廢除的，因為還需要依靠古河公方來維系關東眾人的人心，特別是常陸、房總與下野等國的人心。
不過近衛前久雖然貴為關白，但關東的眾人卻是沒幾個人會買他的面子的。公方重臣築田晴助推選的，是足利藤政（足利義氏的哥哥，也是築田晴助姐姐的兒子）；而小山秀綱（小山高朝的兒子）推選的，是被北條家廢除的足利藤氏（這位也是築田晴助姐姐的兒子，比藤政和義氏要大）。一幫人各有心思，關東諸將各自站隊，在山內館內吵鬧不休。
就這樣，時光與糧食，就在這沒日沒夜的吵鬧中，漸漸消磨殆盡。此時關東原本就遭了災年。現在對小田原的遠征，更是讓各領主的領地經濟雪上加霜。進入四月末后，佐竹、小田和宇都宮也先后離去。而北條家不光是小田原，其余諸如河越、玉繩、瀧山等重要城砦，也都在關東聯軍的攻勢下得以保全，北條家并未因此傷筋動骨。
另外一面，北條家在準備防守反擊的同時，甲斐的武田信玄也趁機開始對北信濃地區大舉行動，這愈發讓上杉政虎寢食難安了。就在越后軍隊傾巢而出，滯留小田原城下時，武田信玄的北信攻勢乘虛提速，五月，武田軍攻陷了孤立無援的割岳城，而后海津城在武田家眾人的努力下，也宣告竣工。
上杉政虎在得知割岳城失陷后，就再也坐不下去了，他必須要結束關東的戰事，返回北信濃地區與武田家做個了斷了。
為何上杉政虎會坐不住？因為，若是海津城落成，意味著武田家對北信濃支配的確立，那么割岳城的陷落，則表明武田家的匕首，能隨時刺進越后上杉的心臟！
割岳城，位于水內郡，高度接近八百米，東面是飯山、豐田，西面是柏原，南面是三水，更重要是它的北面，只要越過一片叫野尻的湖面，就是越后國的境內了。
以前上杉家還能以飯山城為門戶，扼住武田家的入侵，而現在武田軍以高原之城割岳城為基地，一樣能列隊殺進上杉政虎的根據地。現在若是寄希望于武田信玄消極無作為，那是極其愚蠢的想法，割岳城的易手，再清楚不過地證明了：武田信玄的目標不單單是信濃地區，很可能還有越后國，因為越后國有豐饒的大海，有白色的黃金——鹽，有壟斷全國的青苧產地，有平整的街道，有河川與肥沃的土地，這點對山里的武田信玄的誘惑力還不夠嗎？更何況武田信玄就是個貪得無厭的大名。
而武田信玄的確是一個想到就會做到的男子，同樣是永祿四年五月，在甲州金的引誘下，越中國的本愿寺首先蜂起，這些凈土真宗門徒撕毀了先前與上杉政虎的不戰協定，上杉政虎的“安寧后院”不復存在。另外，深入相模的上杉軍的后方，武藏國松山城的上田朝直，也接受了武田信玄與北條氏康的賄賂，舉旗造反了。更加要命的是，在得到了武田家與駿河今川家的援軍支援后，北條家也從烏龜殼小田原城中追擊而至了，。
這一點很要命，首先是那位上田朝直一向號稱“退路粉碎機”，當年他第一次變節，讓太田資正沒了退路，只得投降北條家，這次他第二次變節，輕車熟路，志向更大，要斷了新關東管領的退路。而北條家、武田家、駿河今川家的追兵也令上杉政虎頭痛不已。
上杉政虎這個時候已經功敗垂成，他別無選擇，只得留下足利藤氏、近衛前久（這位膽子夠大的）留在古河御所，自己則是率領著越后軍自五月開始，朝著上野國方向緩緩退去，順路攻陷了松山城，“退路粉碎機”上田朝直反被“粉碎”，逃之夭夭。六月，上杉政虎安全退回了廄橋城，關東聯軍實際解散，持續一年有余的關東征伐宣告結束。
上杉政虎的關東征伐雖然很長時間，但真正對小田原城的攻擊，只有短短十多天，便宣告折戟沉沙。直接原因，在于小田原城的堅固。但深層原因卻是，當初上杉政虎之所以能深入北條家的領地耀武揚威，還是因為他得到了關東諸多大名、豪族的臣從，但“成也蕭何敗蕭何”，也正是因為關東這幫人的朝秦暮楚的無原則，以及上杉政虎掌控力的缺乏，才導致了上杉政虎夢想最終的破滅。
說來說去，上杉政虎雖然貴為關東管領，幕府役職的頭銜確實有相當的號召力，但戰國早已是威權粉碎的時代，關東戰國大名林立的局面業已形成，北條家與外來戶“新越后上杉”不過是其間比較強大的一環，但佐竹、里見、宇都宮也都不弱，甚至長野、那須、小山這些國人旗頭，也都割據一方。這些勢力間的縱橫捭闔與微妙制衡，又豈是上杉政虎一方之力，所能整合統一的？
當然，若只從戰術層面來說，攻城略地并一度將北條氏康封在小田原城的上杉政虎無疑是勝利者。但從戰略層面來說，北條家最重要的同族所把守的大多數城砦都沒有陷落，直屬實力并無什么大損。
而正因為如此，在上杉政虎退回越后過之后，北條家就立即發動了大舉反攻，武藏國、上野國的那幫墻頭草，又紛紛重登到《小田原一手役諸帳》上：酒井家、太田家、上田家、高城家等豪族歸降，而不肯反水的三田家，則是直接被北條氏照攻滅。
于是，北條家的勢力范圍又像彈簧那樣彈了回來，武藏國、上野國、房總國又成了強權來回拉鋸之地（后來武田家又來插手）。不過這點也產生了意想不到的效果：后來在歷史中，這幫來回倒的國眾，上杉政虎沖過來殺一批，北條氏康彈回來屠了一批，武田信玄插進來又滅了一批，一來二往凋零得也七七八八。
歷史中，到了豐臣秀吉小田原征伐時，關東的大部分國眾，不是沒了，就是成了北條家的被官家臣，后來轉封此地的德川家康，運用對待甲斐武田遺臣的同樣懷柔手段，將這批人輕輕松松地接納到自己的帳下，這就是而后所謂的“德川幕府八萬旗本”的基干力量，成了德川家康謀取天下的最根本資本。
就這樣，在上杉政虎返回越后國，開始花費精力對付那些背叛者，而北條家也開始全面反攻后，一時間從越后國到關東地區都顯得熱鬧非凡。
時間一直持續到了永祿四年的八月，秋日驕陽高照，春日山城中，上杉政虎在向毗沙門天許下必勝愿望后，走出館殿，對著一萬八千越后子弟兵，發出了進軍北信濃的命令。在將內部問題解決后，上杉政虎準備報復甲斐之虎了。
于是，越后軍人馬旗幟大張，高歌而進，沿著北陸街道迅猛南下，八月十五日越后國大軍抵達善光寺，怒火沖天的上杉政虎，為了報復之前善光寺的背叛，下令將其間的佛像與寺寶清掃一空，全部運回越后，旨在摧毀之前武田信玄利用善光寺在宗教上加強對信濃地區支配的野心，而后，上杉政虎讓五千人馬駐防在善光寺，看守輜重，并且負責己軍退路的暢通，自己則領著剩下的一萬三千主力，越過犀川與千曲川，目標直指海津城。
海津城的武田家眾人當即有些慌張了，他們急忙點燃了能通往甲斐躑躅崎館的烽火。(