曹霸既擅长于画人物，又擅长于画马。一次，玄宗传曹霸进宫，当场叫人把他最喜爱的一匹叫玉花骢（cong）的名马牵来，命曹霸为它作画。
曹霸叫侍从把一幅巨大的白绢裱糊在殿壁上，同时对玉花骢进行了很长时间的观察，然后转过身，飞快地挥舞墨笔。不多久，威武神骏的玉花骢就展现在白绢上。玄宗越看越满意，马上叫侍从取来许多金帛赏赐给曹霸，并且封他为左武卫将军。但是好景不长，玄宗在任用李林甫、杨国忠等权臣后，爱好声色，奢侈荒淫，长期不理政事，曹霸也越来越少被召进宫去作画。后来他又因一件小事获罪，被削去官职，降为平民，只得离开长安。
公元755年，安禄山、史思明发动叛乱，玄宗逃往四川。曹霸也流落到成都，靠在街头替路人画像过活，晚境极其凄凉。
一次，著名的诗人杜甫来到成都，在朋友家里看到曹霸画的《九马图》，得知这位名噪一时的画家也在成都，便马上去寻访。几经打听，终于在街头找到了曹霸。
杜甫了解了曹霸的身世和遭遇后，非常同情和感慨，写了一首诗赠给他。诗中有这样两句：“凌烟功臣少颜色，将军下笔开生面。”
这两句诗的意思是：凌烟阁中功臣像已失去了往日鲜艳夺目的色泽，亏得你左武卫将军下笔使它们重放光彩。
