胡雪巖有三子五女，長子胡楚三19歲便早歿，次子胡緘三育有兩子，三子胡品三育有四子，人丁最爲興旺。胡雪巖的小兒子胡品三喜愛丹青，頗爲超脫，有花花公子之稱，妻子朱太夫人書香門第，詩畫文字俱佳。
後代：胡萼卿是胡品三的長子，在孫輩中年歲最大，因而也是胡雪巖的長孫。胡萼卿資質聰穎，中了前清的舉人，在孫輩中最爲風光，後來留學日本，在日本加入了孫中山的同盟會，一心想要參加革命。妻子戴泳霓是官家大小姐，雖然管理家務非常潑辣，思想卻相當守舊，不僅不讓胡萼卿去日本參加運動，還給後輩定下規矩：不準進洋學堂。
胡雪巖的第五代孫胡筱梅曾獲得陳毅市長簽發的“上海市第一屆優秀教師”、“上海市第一屆三八紅旗手”稱號。
胡雪巖的直系後代有200餘人，多在海外，分佈在7個國家，幾乎不經商。次子胡緘三賣掉了胡慶餘堂的“招牌股”，送子孫到了國外讀書。而胡雪巖臨終前曾對兒子說：白老虎可怕。意即白花花的銀兩害人，經商是最有風險的事情。於是在胡氏後人中，幾乎無人經商，也無人入仕，基本“從文從教從自然科學”。
