En los 20 años, salió de Amsterdam, y viajó a Johannesburgo, Sudáfrica, donde vive su hermanastra. Allí conoció y se comprometió a Carl Gordon, un economista estadounidense, del cual se separó tiempo después y viajó a Nueva York.

En 1968, dejó su trabajo en el consulado holandés en Manhattan para convertirse en una prostituta, donde hizo mil dólares esa noche. Un año más tarde abrió su propio prostíbulo llamado "La casa vertical" y pronto se convirtió en señora principal de la ciudad de Nueva York. En 1971, fue arrestada por prostitución y obligada a salir de los EE.UU.

En 1971, Hollander publicó un libro de memorias, The Happy Hooker (La puta feliz): My own story (Mi propia historia), co-escrito con Robin Moore y Dunleavy Yvonne. El libro fue notable además de un escándalo de la época, y es considerado un hito de la redacción positiva acerca del sexo. Hollander detalles en el libro de su vida como una prostituta.

Desde entonces Xaviera ha escrito varios libros y obras de teatro producidas en Amsterdam. Su último libro "Child No More" (No más niños), es una historia en la que narra la pérdida de su madre. Durante 35 años escribió una columna de consejos sexuales para la revista Penthouse llamada Call Me Madam.

En la década de 1970, grabó un álbum titulado Xaviera! en la que habló de su filosofía con respecto al sexo y la prostitución, cantó una versión de la canción "Michelle" de los Beatles y grabó varios encuentros sexuales simulados , incluyendo un ejemplo de sexo por teléfono, un trío, y un encuentro con invitados famosos. En 1975 actuó en el autobiográfico Mi placer es mi negocio. Durante los últimos siete años ha estado atendiendo su Xaviera's Happy House, un hotel en Amsterdam.

A pesar de declararse heterosexual, Hollander tuvo una relación con una mujer de nombre Dia alrededor de 1997. En enero de 2007 se casó con un holandés 10 años menor que ella, llamado Philip de Haan, en Amsterdam.