薛灵芸的故事在正史里没有记载，但《拾遗记》、《太平广记》中多有描述。
薛灵芸是三国时期的常山人，家中十分贫穷，她从小与家人一起纺纱，从早到晚从无间歇。薛灵芸长到十七岁时，不仅练得一手绝妙的女红，而且人也长得俊美绝世，闾中少年无不倾心思慕。
咸熙元年，魏文帝曹丕下旨，要选良家女子充实六宫。常山郡守谷习以千金聘去灵芸，呈献给魏文帝。文帝早知灵芸美若天仙，就用十辆宫中最华美的车銮去迎接她。这些车子前后缀满宝石、银铃，行进之时，清脆悦耳的声音响彻郊野。车銮所过之处，前后膏烛齐明，久久不熄，远处望去，如同流星坠地一般。时人有歌云：“青槐夹道多尘埃，龙楼凤阙望崔嵬，清风细雨杂香来，土上出金火照台。”
文帝得意地说：“古人有‘朝为行云，暮为行雨’之说，而今是非云非雨，非朝非暮啦！”遂改称薛灵芸的名字为“夜来”。后世“夜来香”的花名就是由此而来。
薛灵芸入宫后深受皇帝宠爱，但她从不放弃女红，在宫中仍然飞针走线。她甚至能在夜里不用灯烛，仍然针黹刺绣，宫中的妃嫔都尊称她为“针神”。文帝喜爱她的缝纫，声称凡不是“针神”绣制的衣裳他绝不穿。