以國名爲姓，出於姬姓。畢公高的小兒子季孫封邑在潘。春秋後國滅，其子孫不以姬爲姓而以國名爲勝，奉季孫爲潘姓始祖。
潘姓在全國的分佈主要集中在安徽和廣東，其次分佈於浙江、廣西、貴州、河南、江蘇、四川。安徽省是潘姓的第一大省，全國的潘姓分佈形成了南部粵桂、東部皖蘇浙兩大潘姓聚集區。
江蘇潘氏出自華姓。根據《姓氏尋源》上記載，潘氏是楚國公族華姓的後代，是以字爲氏的姓氏，祖宗是潘崇。潘氏家族在楚國較有權勢，楚成王時，潘崇任太子商臣的師傅。商臣繼位爲穆王，就封潘崇爲太師。潘崇的子孫就“以父王字爲氏”，而稱潘氏。這支潘氏的姓源可追溯到上古的顓頊帝高陽氏，發源於今安徽、江蘇、浙江一帶。
