霍光對“太子賓客”的事情十分在意。杜延年與丙吉剛回到自己的官署，出關的符券便送了過來。
太僕寺中，杜延年是主官，自然無人議論，丙吉卻是在高門殿，因爲是在宮中，來的竟是新上升的大將軍長史。同在高門殿的諸大夫見大將軍長史親自前來見丙吉，自是欽羨不已，如何能不關注、議論？
等長史離開了，一幹人立刻將丙吉圍住，七嘴八舌地與丙吉敘話，待得知丙吉是要還故國，反應快的幾個人更是立刻關切地詢問：“莫非丙君家中有故？”
丙吉一怔，隨即哂然笑道：“諸君甚善。然僕早失怙恃，更兼福澤淺薄，無兄弟姊妹可親。”
——他家中能有什麼……故……啊？
“既是如此，丙君何故告休還故國？”聽他這樣說，衆人自然是更加好奇了。
丙吉嘆了一口氣，一邊將符券收起，一邊起身，道：“僕之子已漸長。當在長安覓宅……”
這話一出，不少人神色一黯，悄悄地就轉身離開。
大夫一職看似清貴，但是，除了光祿大夫，秩位都不高，官署又在宮中，雖然一應供給皆由太官負責，但是，這也意味在着他們不得不與家人隔絕——不少人的妻兒根本都不在長安。
丙吉的一句話讓同僚中的不少人都興起了思念之情，自然也沒有幾人還有興趣關心他的事情了。就算有一兩人仍然好奇得很，但是，見衆人都散了，他們也不願獨自打探，便都按捺下好奇，與丙吉別過。
既然是大將軍准許的，僕射也沒有刁難，很爽快地辦好告休事宜，丙吉謝過之後，便收拾了一番，直接出了宮，趕在宵禁前回了家。
丙吉現在只有一妻兩子，長子方入小學，尚不足十歲，次子更是不過始孩之齡，因此，他在長安的家宅並不大。