唐时社会风气开放，官员宴饮之时以歌妓陪伴的风气兴盛，据说白居易曾养有多名歌妓，最出名的是樊素。
《旧唐书》还提到另一名歌妓“小蛮”，原文：“家妓樊素、小蛮者，能歌善舞。”此外孟棨《本事诗‧事感》：“白尚书姬人樊素善歌，妓人小蛮善舞，尝为诗曰：‘樱桃樊素口，杨柳小蛮腰。’”然而后人对于这则记事的可信度有疑问，蔡立甫《红蕉诗话》认为樊素、小蛮指的是同一人。
白居易本身对歌妓并不忌讳，关于歌妓的描述常见于他的诗歌之中，如《与元九书》、《对酒吟》、《江南喜逢萧九彻，因话长安旧游，戏赠五十韵》等诗作。《对酒歌》是这样写的：“一抛学士笔，三佩使君符。未换银青绶，唯添雪白须。公门衙退掩，妓席客来铺。履舄从相近，讴吟任所须。金衔嘶五马，钿带舞双姝。不得当年有，犹胜到老无。合声歌汉月，齐手拍吴歈。今夜还先醉，应烦红袖扶。”。
白居易好友元稹、刘禹锡相互赠答诗文中，还有对于歌妓的真情流露。如元稹曾邀白居易的歌妓商玲珑至越州，商玲珑返回时，元稹并有诗赠白居易。白居易杭州刺史卸任后，曾带杭州的歌妓回洛阳，这些歌妓后来返回杭州，刘禹锡曾有“其奈钱塘苏小小，忆君泪点石榴裙”的诗句描绘这些歌妓对白居易的思念。
从樊素和白居易临别时伤心落泪，从刘禹锡诗作表述的遣返杭州以后歌妓对白居易的思念，也可以看出白居易待她们是有真情的。樊素一直陪伴在白居易身边达十四年之久，白居易曾向当时的宰相裴度要了一匹好马，裴度大概听说过樊素的芳名，于是写信给白居易，并有诗说：“君若有心求逸足，我还留意在名姝。”
以古人‘千金名马换小妾’为借口想要走樊素，虽然裴度是当朝宰相，有权有势，但白居易却依旧难以割舍，写诗婉拒了裴度，说：“安石风流无奈何，欲将赤骥换青娥。不辞便送东山去，临老何人与唱歌？”
白居易与歌妓的往来，也使他受到后人的许多批评。但大多数人认为白居易与家妓樊素和小蛮感情良好，虽未知有否越轨事，然即使有，亦非狎玩，可说是两情相悦，故而白居易与歌妓之事，实非重要，且其时文人几乎皆有，不应独责白居易。晚年白居易将所有的歌妓放还，作了许多回忆的诗文，对这些歌妓多充满了浓厚的念旧之情。
