川路圣謨拒絕跟著忠右衛門撤回江戶，他說他受將軍之命，撫理浦賀，有守土之責。若是浦賀失守，他也不能獨存。
人各有志，忠右衛門估摸著美國人的心思不會放在浦賀上面，便也不強求川路圣謨跟著自己一起撤退，只吩咐他一個時辰一報，不要斷了消息。
江戶灣內的水路是沒有辦法走了，忠右衛門只能帶著人馬從陸路向品川撤退。在品川御殿山炮臺駐守的松平齊宣早就看到美國海軍大搖大擺的來到，并向江戶的方向鳴炮示威。這會子，急的團團轉，見到忠右衛門之后，連忙拉上忠右衛門往江戶城趕。
等快馬到城，只見街道蕭瑟，原本布置在各街道的藩兵和旗本御家人，這會子已經逃散了多半。老百姓都知道沿海不安全，全都往北武藏、上野、下總跑路，曾經百萬人口的大都會，現在不知還有幾個人。
“怎么就到了這地步？”松平齊宣這兩天一直沒有合眼，眼睛里全是血絲。
“您二位終于回來了，大御所薨逝，現在本城一片混亂呢。”早就在日本橋等候兩人的江戶南町奉行助六立刻迎了上來。
“什么！”兩人走的都急，這才知道。
身旁的松平齊宣只覺一陣天旋地轉，他是真的愛幕府，偏偏他愛的這么深沉的幕府，顯現出一副亡國的樣子，讓他難以接受。
“誒誒誒，快扶住明石侯。”忠右衛門趕忙讓助六扛住下馬的松平齊宣。
“江戶情形如何？”
“別說了，糟糕到不能再糟糕。”
助六把松平齊宣交給兩個屬下扛著，同忠右衛門快步登城。他也是好兩天沒有合眼了，身為江戶南町奉行，守土有責，一旦江戶失守，他無面目去見自德川家康以來的歷代先君。
按照他的說法，傳習隊離開江戶前往浦賀和富津布防后，城下百姓和部分武士就開始跑路，他們擔心沒有大軍守衛的江戶，根本就無法堅守。但那時跑的人只是部分，江戶灣天險，或許能夠抵擋一二呢。
等佩里率兵炮擊品川之后，全城大潰，好容易集合起來的幾萬旗本以及藩兵，基本上全都跑了。累代奉公的旗本御家人，并不比百姓強上多少。隨后德川家慶薨逝的消息走漏，連最后那點子堅定的武士都動搖了，所有人都覺得幕府的氣運已經到此為止。
眼下還在江戶的，恐怕只有暫時不方便跑路的諸藩大名，以及幕府直接統率管轄的人馬部隊而已。全城不知道還有沒有十萬人，或者二十萬人。
有一說一，助六都把自己的家人送去了上野寬永寺。他守土有責，可他的新婚妻子才懷孕，怎么忍心就留下來跟著一道死呢？
唉……
忠右衛門只能哀嘆一聲，幕府承平日久，天下軍民不習戰事，不聞兵戈，只要稍微有些風吹草動，人心便會敗壞。如此情形，又有什么辦法呢。
登城觀瞧，連本城的警備和規矩都出現了瓦解，原本秩序井然的中奧內，到處都是面色驚惶，身著行裝的武士。來來往往的，助六沒有詔令，也這樣跟著忠右衛門一道進來了。
尚未入殿，便聽到殿內的爭論之聲。吵架的內容便聽得忠右衛門眉頭緊皺，殿上居然有人在指責剛剛是諸藩兵馬先行潰散，隨后導致幕府的旗本三四萬人也跟著跑路。
怎么殿上會有外樣諸侯！
入殿一瞧，前田齊泰、伊達慶邦、池田慶德、鍋島直正、黑田齊溥、毛利敬親和島津忠教居然都在場，除此之外還有幾名外樣諸侯。他們坐在殿末尾，和坐在上手的譜代大名爭論不休，面紅耳赤，殿內也無人能夠制止。
“將軍様當面，這般喧嘩，成何體統！”忠右衛門大喝一聲，闊步入殿。
原本爭執的眾人安靜了下來，不是因為忠右衛門本人多厲害，純粹是進來的忠右衛門和松平齊宣管帶著數千傳習隊。殺不了洋人，還殺不了你幾個外樣諸侯？
“臣弟失卻富津，還請將軍様責罰。”忠右衛門先把松平齊宣安置下來，然后坐到德川家定面前。
“什么罪不罪的，戰事要緊，戰事要緊。”德川家定本來就是反應慢，現在德川家慶才死，美軍又炮擊品川，他已經完全轉不過了。
忠右衛門望著顯然已經在殿內爭論許久的諸侯大名，心中無來由的想起那么一句話，一句完全切合當下的話。
“可知我們這樣的國家，人民有三千數百萬之多，若從外頭殺來，一時是殺不死的。這可是古人說的‘百足之蟲，死而不僵’，必須先從家里自殺自滅起來，才能一敗涂地！”
一番話說出來，忠右衛門淚流滿面……
眾人聽了忠右衛門這話，有的默默流下淚來；有的面色僵硬，不知道該如何是好；有的偏過頭去，不想教人看見；也有面色平常，只當不知的。
“可戰又戰不過，為之奈何？”水野忠精也哭了起來，但他真沒有什么辦法挽救幕府。
“米夷船堅炮利，幕府無有水軍之利，困守品川，若是品川失了，又該如何？”蜂須賀齊裕抹掉眼淚，向忠右衛門問道。
“富津一敗，人心盡失，百姓逃往，軍伍亦亂，唯恐德川亦有不詳啊。”坐在角落的松平齊民敢說別人不敢說的，語音里帶著哀聲。
“福井侯，你是宰相，意下如何！”忠右衛門上前一把抓住松平慶永的胳膊，要讓他表態。
“這這這……”松平慶永不知如何回答。
“彥根侯，你呢！”
“議和之款實在難以接受，唉……”
“難道就真的打不下去了嗎？”松平齊宣大聲的詢問在座的眾人。
眾人被他這一喝問，不敢回答，他看到哪里，哪里便低下頭去。原本還爭論激烈的殿上，除了哭聲，再也沒有別的聲響。
“竟至于此，竟至于此啊！”忠右衛門甩開松平慶永，真不知道自己還能做些什么，好救這幕府。
幕府不是仗打敗了，是人心敗了呀！