人们常说的一句话是——饱暖思淫欲，饥寒起盗心。胡雪岩过上了自己梦寐以求的富足生活以后，除了天天吃以前从来没有机会吃的山珍海味以外，也开始对各种各样美色动人的女人们动起了歪心思。

其实他在自己的事业刚刚起步的时候已经娶过一位女子，名为芸香。这位女子与他的感情原本十分浓厚甜蜜，和他一起吃糠咽菜。但是为了自己的事业能够更上一层楼，所以他将这位结发妻子送去了自己朋友的身边。

在此之后，他就开始物色别处的美艳女子。因为他是以开钱庄来谋利的，所以他会到处踩点，看看哪些地方适合他开新的钱庄。当他经过多方面调查以后，他就会开始寻找本地的相关人才协助他进行钱庄的经营与管理。

同时他也会在本地找一个长相不错的女子纳为小妾，这也是众人都认为胡雪岩是一个贪财好色的人的原因。但是有历史爱好者认为“妻妾成群”的浮华表象之下还有更加高明的原因。因为他和这些女子结婚以后只是温存几天，之后他就毫不留恋地前往下一个地方。

在他离开这个地方以后，他的小妾就会默默地成为当地的掌柜的老婆。这样做的好处在于如果直接给掌柜的娶妻子，那么她们俩就是亲密的夫妻关系，可能不会帮衬胡雪岩。如果是他的小妾和掌柜的暗自生情，那么他们两个人都会有对胡雪岩有愧疚之心，一起协助他。

令胡雪岩最出名的一件风流之事就是他对一个女子一见钟情。那天也正好是一次机缘巧合，他在一件卖衣服的店门口瞧见了一位女子，没想到这惊鸿一瞥就让他的目光无法从这位妙龄少女的脸上移开。

后来他经过多方关系了解到了这位少女的身份后，就立即登门拜访她的家人。这位少女是一个纯正的“黄花大闺女”，正值妙龄。面对已经是胡子拉碴的中年油腻大叔的胡雪岩，她的父亲原本是拒绝这门亲事。随着巨额的彩礼以及各种威逼利诱，最终他如偿所愿的结婚了。

结语：但是在成亲那天的洞房花烛夜，胡雪岩仅仅是让她脱下衣衫后躺在床上，并没有进行更深一步。他只是贪婪地用眼睛恶狠狠地看遍了她的身体。似乎是对那天衣店前，她对他目光躲闪的行为的复仇。之后他就上床休息了，一晚上就这样平安无事地渡过。

第二天一早上，他就离开了房间，并且对女子说：如果这个房间里有你心仪的东西可以随意拿去，不需要拘谨。这个女子将信将疑地拿了一些金银珠宝后就离开了，临走前还带着两万银子的改嫁费。