柴紹倉皇的從李休那里逃回城中，看到背后的平陽公主沒有追來時，這才終于松了口氣，不過緊接著又開始擔心起來，因為他知道平陽公主肯定不會善罷干休，如果她去陛下那里去告狀的話，恐怕他就要倒大霉了。
想到這里，柴紹立刻開始思考起對策來，不過他卻根本無法阻止平陽公主進宮，只能在自己這邊想辦法，結果想來想去，只想到一個向別人求助的辦法，可是滿朝文武之中，有能力幫他的只有太子或秦王，秦王不在長安，也就只剩下太子了。
相比之下，柴紹與李建成的關系很一般，畢竟他是武將，以前也在李世民手下效力，所以他與李世民的關系還算好一點，不過現在卻是沒辦法，只能硬著頭皮去求李建成了。
柴紹一邊往東宮的方向趕，一邊在心中大罵那個馮侍郎不會辦事，如果他直接沖進李休家中把對方抓出來，使得平陽公主根本來不及反應的話，恐怕他就不會這么狼狽了。可憐柴紹到現在都不知道，李休家中還有兩個郡王，如果馮侍郎的不知死活的直接沖進去，恐怕那些東宮衛士早讓他們尸橫滿地了。
柴紹馬不停蹄的跑到東宮大門前，然后報上名未見，本以為就算自己和李建成的關系一般，但對方肯定會見一見自己，可是讓他沒想到的是，他在門外等了半天，最后卻只出來一個駝背的老內侍，滿是松垮皺紋的臉上一臉冷漠的道：“霍國公請回吧，太子今日有事，不便見外客！”
“什么？你們到底通報了沒有，太子怎么會不見我？”柴紹聽到這里卻是勃然大怒道，他好歹也是李建成的妹夫，而且還親自前來拜訪，現在卻連門都進不去，這也太不給面子了吧？
“霍國公請回，這是太子親口吩咐的，另外太子讓老奴國公，安陸郡王這段時間一直在李祭酒府上求學，希望霍國公好自為之！”老內侍這時再次慢悠悠的道，說完也不理會柴紹的反應，轉過身一步三搖的離開了。
“什么！這……這怎么可能？”柴紹聽到老內侍的話卻是呆若木雞的站在那里，兩只眼睛也失去了焦距，他這時終于想明白了在平陽公主趕到李休家之前，那些沖出的衛士是什么人，原來他們都是保護李承道的宮中禁衛，難怪他會感覺那些眼熟，可惜現在明白這些卻已經太晚了。
馮侍郎的那些侍衛被宮中禁衛狂毆之時，這些禁衛已經派人進宮，把那邊的事情稟報給了東宮，所以李建成才會知道的如此清楚，而且李承道還吩咐報信的人說自己差點受傷，這讓李建成也是大為惱火，這時也正是生柴紹的氣，把他拒之門外已經算是客氣的了。
柴紹失魂落魄的離開了東宮，在大街轉了半天也不知道去哪，最后無奈的回到家中，然后把自己關在書房里苦思對策，可惜想來想去卻沒能想出對應的辦法，只能被動的等待朝廷的懲罰。
李淵那天雖然拒絕了平陽公主與柴紹和離的請求，但是看到這個最寵愛的女兒傷心的離去，心中也十分的愧疚，最后這種愧疚也轉化為對柴紹的怒火，最先倒霉的是那個馮侍郎，先是被免官撤職，然后又被人查出中飽私囊，結果被抓到刑部的大牢之中。
柴紹做為這件事的幕后兇手，自然也沒逃過懲罰，幾天之后，一道圣旨從宮中發往柴紹府中，這道圣旨的內容很短，直接免去了柴紹的右驍衛大將軍一職，罰俸三年，還讓他閉門思過一個月，也沒說什么理由，畢竟像這種涉及到皇族內部矛盾的事，一向都不會公開，反正被懲罰的人自己知道原因，也不敢有什么意見。
柴紹接到這道免職的圣旨后不禁眉頭緊鎖，罰俸和閉門思過都無關輕重，唯獨免去了他的大將軍有些嚴重，畢竟這樣一來，他就成為一個沒有實權的貴族，說話的份量也會大為減輕，如果換成其它官員的話，幾乎相當于被就地免職，日后都不可能有再復起的希望，整個人的仕途也就此毀了。
不過李淵雖然免去了柴紹的實際官職，但卻沒有動他霍國公的爵位，這讓柴紹從中品味到一絲希望，這說明李淵并不是真的想要把他徹底冷藏，而是給他一個嚴重的警告，日后很有可能會再次啟用他，畢竟他背后還有一個根基深厚的家族，絕不是一般的官員可比。
想到上面這些，柴紹也不由得松了口氣，李淵的懲罰雖重，但至少還給他留了一絲希望，只要他這段時間表現的老實一點，不要再去招惹平陽公主就行了，特別是等到過年時，他再借這個機會進宮向李淵認個錯，估計這件事也就過去了。
抱著上面的想法，柴紹老老實實的在家呆了一個月，他是個喜歡熱鬧的人，每天被關在家里簡直就是種折磨，不過為了不惹李淵生氣，他還是強忍著在家里呆了整整一個月，甚至在閉門思過期滿之后，他也盡量的減少外出，營造出一種深居簡出的樣子。
柴紹最常去的地方是長安東市附近一家賭場，名叫東安賭場，雖然大唐禁賭，但長安城大大小小的賭場卻有幾十個，東安賭場算是其中最大的一個，而且這家賭場表面上是一個外地的商人所開，但實際上的控制人卻是柴紹。
柴紹好賭，這幾乎是所有武將的通病，當初還是前隋時，他還是大隋的千牛備身之時，就經常與一幫貴族子弟聚賭，而且他比一般的貴族子弟有腦子，在看到賭博所獲之利巨大時，他想到了親自開賭場，這家東安賭場就是他年輕時開辦的。
后來因為戰亂，東安賭場一度關閉，不過等到大唐成立后，柴紹也功成名就，于是就把這家賭場再次開了起來，并且一躍成為長安城中最大的賭場，有了這家東安賭場，一來方便柴紹自己玩，二來也為柴家輸送了大量的錢財，所以柴紹對這些也頗為重視，以前每隔幾天都來玩幾把，即過了賭癮又能順便巡視一下這里。
不過柴紹雖然好賭，但卻不是像爛狗皮那樣的爛賭鬼，而且他也不會像一般賭客那樣在大堂里玩，事實上像他這種好賭的貴族并不在少數，所以每天都會有不少貴族去賭場，這些貴族們一般都是在賭場特定的包間里玩，所以柴紹根本不用擔心缺少賭友。
閉門思過結束后，柴紹第一時間就去了東安賭場那里玩了幾把，接下來的一段時間里，他也沒有去其它地方，只有犯了賭癮時才會來東安賭場玩兩把，對于他們這種人來說，輸贏已經不重要的，玩的就是一個心跳。
這天柴紹再次來到東安賭場，這座賭場就在東市旁邊勝業坊中，占地的規模極大，從外表來看，恐怕不知情的人會以為這里是哪家貴族的別院，但是進到里面就會看到一座十分廣闊的大廳，大廳里按照賭博方式的不同，被劃分為不同的區域，每個區域里都擠滿了人，到處都是輸紅眼的賭徒在嘶吼。
在這個巨大的賭場里，每天都有人輸的傾家蕩產，甚至更有輸紅眼的人把妻兒都輸給了別人，更有人向賭場借貸卻還不上，結果被賭場的打手當場砍掉了手腳，可以說這里簡直就是一個巨大的食人窟，但每天卻依然有無數人心甘情愿的跳下來。
柴紹傍晚時分來到東安賭場后，先是習慣性的在大廳里轉了一圈，感受到大廳里那種狂熱的氣氛，這讓他也不禁有些熱血沸騰，同時手也更癢了，當下來到大廳的后面，這里是賭場的包間，只有那些有錢有身份的人才能進來。
“老爺，今天有幾位大賭客來了，每人都帶著大批的賭資，您要不要玩幾把？”柴紹剛一來到這里，立刻有個華服中年人一臉諂媚的湊上來道，這個中年人姓劉，因為少了一根手指頭，所以人稱“九指劉”，明面上他是這個賭場的主人，但其實他卻是柴紹的家奴。
“哦？那我可要見識一番！”柴紹正感覺手癢難耐，而且他一向喜歡豪賭，每次來這里，九指劉都會給他安排幾個大賭客讓他過過手癮，這次自然也不例外。
當下九指劉引著柴紹來到一處單獨的小房間里，當進到里面時，只見里面已經坐了三個人，而且每個人頭上都戴著一頂特制的帽子，帽子上的薄紗剛好把他們的臉擋住，但卻又不影響他們的視線，身上也穿著寬大的衣服，讓人看不清他們的身形。
賭博畢竟不是件光彩的事，更何況還是朝廷明令禁止的，所以來賭場的貴族一般不喜歡暴露身份，名利被人抓住把柄，因此賭場也慢慢的形成一條不成文的規矩，那就是來這里的客人可以把臉遮擋起來，只需要帶上足夠的賭資就可以放開大玩了。
柴紹是這里的主人，這幾乎已經是個公開的秘密了，而且柴紹的的底子夠硬，根本不怕被人抓住把柄，事實上就算有人把他聚賭的事捅上去，李淵也不會因為這點小事怪罪他，比如以前柴紹來這里時，從來不喜歡戴面紗，這也是他的底氣，不過現在情況特殊，因此進來時也戴上了特制的帽子。
來這里的貴族都是過賭癮的，所以柴紹進來后也沒有廢話，直接宣布賭局開始，說來有趣，柴紹雖然恨極了李休，但是在賭博時卻喜歡玩李休搞出來的紙牌，這場賭局也同樣如此，四人玩的是一種類似后世拖拉機的玩法，只是在規則上有些不同。
柴紹今天的運氣很一般，剛開始還贏了幾把，可是后面卻越輸越多，反倒是坐在他對面的那個家伙手氣極好，面前很快就堆滿了籌碼。
一直玩到東方的天際發白之時，柴紹今天帶來的籌碼幾乎輸光了，這讓他也不由得有些惱火的一推桌子站起來道：“不玩了，今天的手氣真差，改天再玩！”
柴紹說著轉身就在離開，不過也就在這時，卻只見他對面那個贏得最多的家伙忽然開口道：“看來霍國公你的霉運還沒有過去，我看來你最近一段時間還是不要賭，否則只會像那個爛狗皮一樣輸的傾家蕩產！”
聽到對方的話，柴紹也猛然轉過身，目光炯炯的盯著厲聲問道：“你是誰，說這些話是什么意思？”
“呵呵，霍國公還真是貴人多忘事啊！”只見對方這人說著忽然伸出手，然后把頭上的帽子摘了下來，露出一張滿是微笑的年輕臉龐。
“李休！你……你竟然來這里！”柴紹看到這個年輕而熟悉的臉龐也是驚聲叫道，他萬萬沒想到和他玩了一晚上紙牌的人竟然是李休。
“呵呵，賭場而已，沒想到老子的手氣竟然還不如你小子！”沒等李休開口，只見李休右側的那個人也開口道，然后伸手摘下帽子，露出一張威武的臉龐，卻是與李休交情最好的馬爺，他擔心李休一個人來這里不安全，所以也一起跟來了，順便也過過賭癮，卻沒想到玩紙牌他還是玩不過李休，除了柴紹就數他輸的最多。
“呵呵，沒想到馬將軍也來了！”柴紹看到馬爺也不禁瞇起眼睛道，隨后他又看向李休左側那個戴著紗帽的人道，“那么你又是誰，肯定也是李休一伙的吧？”
“哈哈哈哈，有趣有趣，沒想玩幾把紙牌也能遇到這么有趣的事，不過霍國公你大可放心，我可不是這位李祭酒和馬將軍的人！”只見左側這人卻是一聲長笑道，聽他話中的意思，好像認識李休和馬爺。
只是李休卻感覺他的聲音很陌生，當下看了他一眼，但卻無法透過面紗看到對方的相貌，最后只得作罷，然后抬頭看向柴紹，并且露出一個燦爛的笑容道：“沒想到堂堂霍國公竟然會暗中經營著這么大的一個賭場，每天不知有多少人在這里傾家蕩產，如此罪大惡極之事，難道霍國公就不怕天打雷劈嗎？”(