Su aspecto físico, su acre humor y su extrema afición al vino contribuyeron a la vida inestable, desarraigada y miserable que llevó; una de sus etapas de mayor exaltación y desastrosas consecuencias fue la de sus amores con un jovencísimo Rimbaud. Poeta musical y de gran habilidad versificadora, dejó aflorar lo irregular y desmedido de su vida sexual en Las amigas (1867), colección de seis sonetos que desarrollan el tema del lesbianismo, obra en la que se manifiesta claramente la influencia poética de Baudelaire.
En las series de poemas Mujeres y Hombres (1890), en los que alude a sus amores hetero y homosexuales, y en Paralelamente (1899), donde sus aspiraciones religiosas y místicas se funden con su sexualidad exaltada y alcanzan efectos de soberbia grandeza.