胡雪岩的原配太太程氏，是奉父母之命所娶。此女相貌平平，能力一般，与胡雪岩亦无感情，是个老实人，且体弱多病。对这样的结发妻，胡雪岩却从没厌弃过，像对待其他十二房姨太太那样疼爱她。在胡雪岩的妻妾中，阳琪是第一个被当做贤内助而娶进门的女人。阳琪长得眉清目秀，美丽动人。她与胡雪岩年轻的时候便认识，说话也投机，二人心中都有一种莫名的感觉。哪知当时阳琪的父亲突染风寒去世，阴差阳错二人错失了大好姻缘。11年后阳琪携母亲流落到了上海意外地遇见了胡雪岩，二人相见少不了惊喜，问候寒暄过后，胡雪岩说他在杭州沦陷后一年就来到上海，当时生意顺畅。后来太平军被镇压，他又回到杭州。现在主要的生意都在杭州，此次到上海来是为左帅借洋款，听得阳琪心中欢喜。她问道：“这么多的事情要你做，不累吗？”胡雪岩顿时眼睛灰暗失色，“唉，有什么办法呢？她又帮不上什么忙？”“她”像针似的刺了阳琪的心，她失望地低下头，提不起谈话的兴致，只简略地把自己的遭遇讲出来，平平淡淡毫无夸张之词。胡雪岩仍然听得眼圈湿润。两人随便闲谈一会儿，胡雪岩告辞回家。此次见面后，胡雪岩常常见缝插针来到阳琪绣行。他们的心渐渐被往事唤起，热情像从前一样炽烈，情深意长。阳琪是一个精明的女人，她用自己的聪明才智替胡雪岩买了一块南京的地皮，结果一个月后这块地皮不断看涨，胡雪岩也被阳琪的远见卓识给折服了。他需要有这样一位贤内助帮忙，更何况还是自己的心爱之人。几经周折，胡雪岩终于如愿以偿，和阳琪拜堂成亲。与阳琪成亲后，阳琪立刻成了胡的左右手，令胡如虎添翼，有力地促进了胡雪岩事业的进一步发展。只可惜，阳琪过早地逝世了。这多少留给胡雪岩一些遗憾。
不久，胡雪岩就遇到了另一位与阳琪极其相似，极具商业头脑的姑娘。她就是胡雪岩身边最重要的一位女子，陪伴胡雪岩走完人生的翠环姑娘，即当时小有名气的“罗四太太”。
罗四太太在嫁给胡雪岩之前，叫做罗四姐，是个小家碧玉，特别能干，在胡雪岩穷困潦倒的时候，曾接济过他。可当时胡雪岩已有妻子，虽然彼此都有爱慕之意，却无从结合。后来，罗四姐随父母逃避战乱，流离途中，父母双亡，她嫁的丈夫又患病死了，留下她和一个女儿。年轻的孀妇，加上又是旧时相识，所以，罗四姐认为她与胡雪岩是“前世的缘分”。为了避免用“二太太”之名，却又想不出更合适的称呼；有个通人说：“顺治年间江左三大家’之一的龚芝麓，娶了秦淮出身的顾眉生，龚芝麓的元配称她为顾太太，仿照这个例子，拿罗四姐的姐字改为太太，有何不可？”于是，“罗四太太”就此叫开了。下人不明其理，只当她娘家住在螺蛳门外的缘故，叫成“螺蛳太太”。
胡雪岩的母亲胡老太太年事已高，对生意上的事并不精通，原配妻子程氏又是个老实人，自从罗四姐嫁到胡家后，罗四姐成了胡府的“掌印夫人”，她将胡府后院打理得井井有条，让胡雪岩安心在外面做生意，同时，她还常常为胡雪岩生意上的事出谋划策。胡雪岩的事业日益兴旺。发达之后，胡雪岩在生活上也日益堕落，罗四太太见他频繁地出入青楼，甚至就直接就在青楼里谈生意，觉得这是一个危险的信号。于是，她采取了一个折中的办法，支持胡雪岩多娶几房姨太太。于是，胡雪岩尽搜美女，先后纳了十一房小妾，个个美若天仙，加上罗四太太，正好十二位，号称“东楼十二钗”。胡雪岩为这十二房姨太太挥霍掉了大量的金钱。她们分住院内长弄中各楼，按序各占一室。到了晚上，侍女端上盛有各姬妾牙牌的银盘，胡雪岩随手翻一个，侍女就按牌上名字叫这个姬妾侍寝，宛如皇上翻牌子一样。胡雪岩每天早晨起床，由佣人端上用翡翠盘盛着的青黄赤白各色宝石若干枚，让他“养目”。每日合家大小还要去上房向他恭请晨安。胡雪岩喜欢和众多的姬妾一起嬉戏、玩乐。他让诸妾穿上写着“车”“马”“炮”字样的红蓝马甲，登到在高台上画好的棋盘，红蓝对峙，胡雪岩和夫人在栏杆后用竹竿指挥她们，以人充当棋子。胡雪岩与太太口头对弈，姨太太和仆人们依据指令，跑向各自的位置。
在胡雪岩被抄家的前夕，除了罗四太太，他的另外十一个姨太太依旧沉醉在富贵乡里，一个个打扮得花枝招展，满头珠翠，争风吃醋，向胡雪岩卖弄风情。见此，胡雪岩叹道：我的失败就是从纳妾开始的。
罗四太太是服药自杀的，其他的姨太太及众多婢女根据记载大概是如下这样：
次日黄昏，世龙带着几个下人来到娇春园，走进园内，他神情慌张地朝着那一群闲逸无事的小妾们喊道：“你们还不快走，官兵已经到胡府抄家去了，马上就要到这儿来了，要是给官兵们抓住，就要被卖为官奴了。”
顿时，这些养尊处优的姨太太们花容失色，乱作一团，一窝蜂地挤上了门口等待的马车，各自逃生去了。接着，他们在各位姨太太的房间里搜出了多达二三十万两白银及各式珠宝。成由勤俭败由奢，一切都已经太迟了。一场温柔富贵梦，一场超级财富盛宴，就这样草草收场了。