牡丹的观赏栽培始于东晋的浙江一带，主要依据是南朝谢灵运的记述。

南朝东晋末谢灵运的《谢康乐集》载：“永嘉（今浙江温州）水际竹间多牡丹。”公元422年至公元423年，谢灵运任永嘉太守，他任职永嘉时，常四处寻访，观察民情，看到了“水际竹间”的牡丹，谢灵运的记载应该是可信的。同时，他没有再用芍药这个含混的称呼，而明确其为牡丹。

北齐时（公元550年至公元577年），出现了一位画家杨子华。唐韦绚《刘宾客嘉话录》载：“北齐杨子华有画牡丹极其分明。子华北齐人，则知牡丹花已久矣。”杨子华，北齐世祖时任直阁将军、员外散骑常侍。他善画贵族人物、宫苑、车马，由于技艺精湛当时被称为“画圣”。北齐世祖让他供职宫廷成为宫廷御用画家。宋代诗人苏轼曾赋诗赞他：“小槛徘徊日自斜，只愁春尽委泥沙。丹青欲写倾城色，世上今无杨子华。”可惜，杨子华的牡丹画作已失传，其仅存的《北宋校书图》宋代摹本今藏于美国波士顿美术馆。杨子华画牡丹证明“南北朝时期（公元420年至公元589年）牡丹已从野生引为栽培，过去多据此认为牡丹的观赏栽培历史有一千五百年左右。

后来发现的早于北齐杨子华和东晋谢灵运的一位东晋大画家顾恺之的画作《洛神赋图》，又把观赏牡丹的栽培历史推前了一百年左右。

顾恺之（公元345年至公元406年），字长康，小字虎头，晋陵无锡人，我国东晋时杰出的艺术家。他以自己的画笔一扫古拙呆滞的画法，开启了一代水墨新风。顾恺之一生的画作很多，其中最著名的是他的《洛神赋图》。

《洛神赋图》是顾恺之为三国魏文学家曹植的《洛神赋》创作的大幅画卷，描绘了曹植对洛水之神甄妃的爱恋和人神相隔的惆怅。面对《洛神赋》这样一个叛逆于封建礼教又生离死别的爱情故事，顾恺之对曹植与甄妃的遭遇愤愤不平，心情激荡，乃至热血沸腾，于是奋笔画下了《洛神赋图》。顾恺之在尽情描摹曹植和甄妃的同时，又画上几株盛开在洛水之畔的牡丹。

由于《洛神赋图》中的牡丹形象比较模糊，因此有人质疑：顾恺之画的不一定是牡丹。顾恺之的《洛神赋图》原作已佚，现存的只有宋代的摹本，另有余仁中《顾虎头列女图》，皆绢本设色，分别藏于辽宁省博物馆、台湾台北和美国弗里尔美术馆。

如果说顾恺之《洛神赋图》中的牡丹有人质疑的话，那么可以看看宋代余仁中的《顾虎头列女图》中所画的牡丹。《列女传》是一部介绍中国古代妇女行为的书。西汉时期汉成帝的皇后赵飞燕失宠后，淫乱无度，光禄大夫刘向收集昔日贤后贞妃的经典记载，写成了一本《列女传》呈给汉成帝，指出蘖（niè）嬖（bì）为乱乃亡国之征兆，期盼朝廷有所警悟。东晋时，顾恺之见此书后，立即为《列女传》作画，轰动一时。余仁中摹本《顾虎头列女图》，描绘的庭院中栽植的木芍药真真切切，清清楚楚，这个摹本似乎为顾恺之《洛神赋图》上画的就是牡丹作了证明。

顾恺之生活在公元345年至406年间，这比北齐杨子华又早了百余年。因此，顾恺之的《洛神赋图》把我国牡丹观赏栽培的历史提到了一千六百年。