清朝年間，蘇州曾有“貴潘”“富潘”兩個潘姓世家鼎盛之時兩個潘家佔了半個蘇州城。
關於“富潘”有兩種說法，一說與潘世恩家族同族，一說屬於蘇州東匯潘氏。不過在清乾隆、嘉慶年間，蘇州民間流傳着“明有沈萬三，清有潘麟兆”的說法，指的是以絲綢、茶葉起。
黃門潘氏
黃門堂：西晉潘岳曾任河陽令、著作郎、給事黃門侍郎等職，故以其黃門侍郎之職稱爲堂號，又因其爲滎陽中牟（今屬河南）人，也稱爲“滎陽堂”。
源於姚姓，是上古舜帝姚重華後裔，是以國名爲姓。《史記》《中國姓氏》記載，舜帝生於姚墟，因姓“姚”，建都於潘地（今北京延慶）。後將潘地移至今陝西省興平。商王朝時期，舜帝后裔建有潘子國，到殷商末期被周文王所滅，其子孫遂以國名爲姓氏而姓潘
