岁时，侧室为他诞下一子，取名黄世遗，因为是黄友德的第五个儿子，所以众人皆称其为“五少爷”。
坊间会将黄家的境遇和黄世遗联系起来，也不是没有原因的，黄世遗出生后，展示出其非凡的一面，自小不哭不闹，不到七个月就能够下地行走，二岁识千字，四岁便能背诵四书五经，如今不过九岁，更是琴棋书画样样精通，是远近闻名的神童。
坊间传言黄世遗乃是“文曲星下凡”，才气非凡，未来必定显贵，这才使得黄家飞黄腾达，只可惜因为他出生于商贾之家，按照本朝律令，无法参加科举，着实令人感到惋惜，或许正是这个原因，所以家主黄友德对此子一向是放任其自由发展，从不加以限制，听闻最近五少爷似乎打算练武，日后还从军入伍，建立功业。