細木数子の男関係において最も大きな衝撃を世間に与えたのが、政財界の陰の指南役として知られた陽明学者・安岡正篤との関係だ。昭和の歴代首相が師と仰いだ巨頭に対し、当時40代半ばだった細木は急速に接近。1983年、80代後半を迎え認知症の症状が進んでいた安岡との間で、電撃的に婚姻届が提出された。
しかし、この結婚に対して安岡の親族や側近たちが猛反発。「意思能力がない状態での極秘結婚である」として婚姻無効を求める裁判調停へと発展した。最終的に婚姻届は取り下げられ、調停成立直後に安岡が他界したことで、この一件は芸能界および政財界を揺るがす前代未聞のスキャンダルとして歴史に刻まれることとなった。