土俵上では鋭い眼光で恐れられた千代の富士ですが、家庭では深い愛情で家族を包み込む優しい父であり、夫でした。妻である久美子夫人との間には1男3女の4人の子どもに恵まれました。1989年には生後間もない三女・愛莉ちゃんをSIDS(乳幼児突然死症候群)で亡くすという深い悲劇に見舞われましたが、家族でその悲しみを乗り越え、結束を強めたエピソードは有名です。
子どもたちもそれぞれ独自の分野で才能を開花させています。特に次女の秋元梢は、黒髪パッツン前髪とモードなスタイルを武器に、日本を代表するトップモデルとしてパリコレクションなど世界を舞台に活躍。俳優の松田翔太との結婚でも大きな注目を集めました。
長男の秋元剛氏もファッション業界のディレクターやプロデューサーとして第一線で活躍しており、千代の富士が持っていた研ぎ澄まされた美意識や強靭な精神力は、子どもたちの生き様の中に確固たるDNAとして受け継がれています。