“小冠杜子夏”是指杜钦。杜钦是杜延年的中子，杜缓之弟。他字子夏，少时爱好经书，家里富有，但是有一只眼睛看不见，故不喜欢做官。茂陵人杜邺与他同姓、同字，俱以才能著称京师，所以士大夫称杜钦为“盲杜子夏”以与杜邺相区别。杜钦讨厌人们诋毁自己的眼疾，就做了小冠（小号帽子），大小才二寸，由此京师人更谓杜钦为“小冠杜子夏”，而杜邺为“大冠杜子夏”。其时，皇帝之舅大将军王凤以外戚身份辅政，寻求贤士帮助自己。王凤之父顷侯王禁与杜钦之兄杜缓相友善，所以王凤深知杜钦的才能，上奏请求杜钦为大将军军武库令。这是一个闲职，没有多少事情，深合杜钦的心意。
杜钦为人深沉，学识渊博，颇有计谋。汉成帝为太子时，就以好色闻名，等到即位，皇太后下诏采良家女子。于是杜钦就引用古代礼制游说大将军王风，希望他辅助建立“九女之制”，选择有行义的人家，求取有淑质的女子，而不论她是否有美色以及声音技能，这样才是为万世基业考虑的大原则。王凤就把此事禀明太后，太后认为以前没有这样的先例。于是杜钦就引经据典，说明“九女之制，合于往古，无害于今”，并一再申明是为了汉家无穷无尽的基业。但是王凤自己不能建立法度，只是遵循成例而已。又恰好赶上皇太后的妹妹司马君力与杜钦之兄的儿子私通，结果事发，连皇帝也知道了。杜钦因此感到惭愧、恐惧，于是上疏辞官而去。