Urodzony w Okayamie, jako najstarsze dziecko Eisuke Yoshiyukiego. W wieku 3 lat wraz z rodziną przeniósł się do Tokio. Uczęszczał do Liceum Shisuoka, gdzie narodziło się jego zainteresowanie twórczością Tomasza Manna. W 1945 roku wstąpił na Uniwersytet Tokijski. Studiów nie ukończył, a po ich opuszczeniu rozpoczął pracę redaktora w brukowcu, spędzając większość wolnego czasu na grach hazardowych, piciu i wizytach w domach publicznych. Seksualność i prostytucja stanowiły główny temat jego twórczości.