"W latach pięćdziesiątych Chelsea Hotel stał się przystanią takich prozaików i poetów Beat jak Kerouac, Ginsberg, Corso i Herbert Huncke. Wydawcę Raymonda Foye’a zachęcił do zatrzymania się tutaj widok Corsa rozwalającego w holu automat telefoniczny. [...] To tutaj Phil Ochs przemienił się w Johna Traina, a Sid Vicious z The Sex Pistols zamordował swą przyjaciółkę Nancy Spungen. Mieszkali tu również: Dennis Hopper, Bette Davis, Kris Kristofferson i Woody Allen, a jego wnętrza widzimy w takich filmach jak Chelsea Girls Warhola (1966) czy Tajemnica morderstwa na Manhattanie Allena (1993).

W latach sześćdziesiątych dyrektorem hotelu został Stanley Bard, a portierem Jerry Weinstein. Bard bardzo tolerancyjnie traktował artystów z bohemy, którzy rachunki mogli opłacić tylko swymi płótnami – zdobią one korytarze i pokoje. Dawna garderoba damska z freskami wokół fryzów jest dziś gabinetem Barda i syna Davida pełniącego funkcję jego zastępcy. Także po przebudowie w holu znalazło się miejsce dla rzeźb i obrazów, którymi regulowano należność za pobyt w hotelu. Pisarz Taylor Mead zauważył: „Przez lata Stanley zadawał się z całym tym towarzystwem, co sprawiło, że Chelsea wręcz ściągało oryginałów. Myślę, że w końcu miał już dość tych »świrów«”. Natomiast poeci nie byli tak chętnie widziani jak malarze i rzeźbiarze. Corso skarżył się: „Mieszkałem w pokojach, które wynajmują ćpuny i w których zdychają, za które malarze nigdy nie płacą, a poeci – zawsze”.

Cohen większą część pobytu w Nowym Jorku spędził w Chelsea Hotel; bardzo mu odpowiadała artystowska atmosfera i nasycona narkotykami kultura. Linda Hutcheon sugeruje, że Cohen już od roku 1967 konsekwentnie pracował nad swym wizerunkiem kontrkulturowym. Należał do nowojorskiej „sceny”, do której przyłączył się Dylan po zerwaniu z ruchem politycznym. Podczas pobytu Cohena w Chelsea zatrzymywali się: Bob Dylan, którego przyszła żona Sara Lownds wraz ze swą córką miała tu apartament, Robbie Robertson z The Band, tydzień spędziła tu także Nico z The Velvet Underground, którą Dylan poznał w Paryżu w roku 1964 i dla której napisał I’ll Keep It With Mine (piosenka znalazła się na antologiach BIOGRAPH i BOOTLEG SERIES). Nico pracowała w Nowym Jorku od 1959 roku, Dylan (pod którego wpływem pozostawała) poznał ją z Andym Warholem, a ten z kolei nakłonił Velvet Underground, aby wzięli ją na wokalistkę. Wysoka, piękna blondynka robiła ogromne wrażenie na mężczyznach związanych z nowojorską sceną (włącznie z Dylanem). Cohen spotkał Nico w klubie Warhola The Dom i natychmiast się w niej zakochał. Przekonał ją do żywności makrobiotycznej i nagrał dla niej Joan of Arc (SONGS OF LOVE AND HATE), Take This Longing (NEW SKIN FOR THE OLD CEREMONY) i Memories (DEATH OF A LADIES’ MAN). Ona z kolei poznała go z Lou Reedem, zachwyconym jego książkami Flowers for Hitler i Piękni przegrani. W Chelsea Cohen zawarł też znajomość z Edie Sedgwick, grającą w wielu filmach Warhola, a w tym czasie nieustannie faszerującą się koktajlami narkotykowymi. Sedgwick flirtowała z Dylanem w 1966 roku, w czasie gdy – jak to ujął Jonathan Taplin – „uginał się pod ciężarem, przejścia od »czystego« folku do »nieczystego« rocka”. Jej krzykliwe, pewne siebie zachowanie przesłaniało jednak skrytą głęboko kruchość, która zainspirowała Dylana do "Just Like a Woman"."