汉宣帝甘露三年（前51年），匈奴单于开始朝见汉天子。宣帝由此怀念股肱大臣们的功德，就让画工在麒麟阁画上他们的画像，都依照他们的容貌，署明官爵、姓名。其中唯有霍光不称名，署的是：大司马大将军博陆侯姓霍氏，其次是卫将军富平侯张安世，车骑将军龙额侯韩增，后将军营平侯赵充国，丞相高平侯魏相，丞相博阳侯丙吉，御史大夫建平侯杜延年，宗正阳城侯刘德，少府梁丘贺，太子太傅萧望之，典属国苏武等共十一人，标明他们都建有很大的功德，闻名于当世，因此列名麒麟阁加以表彰，以明辅佐中兴，与方叔、召虎、仲山甫等古代名臣相抗衡。另外如丞相黄霸、廷尉于定国、大司农朱邑、京兆尹张敞、右扶风尹翁归及儒者夏侯胜等人，都得到善终，著名于宣帝的时代，但是却不能列于名臣之图，由此可见选择的严格。