潘姓在古代的地位
汉朝开始，汉文帝的舅舅薄昭因为杀了天子使者，逃到胡地，为了表示对大臣的宽容，汉文帝派使者去招他回来，并承诺回来后就让他继续担任原职务。但是薄昭并不领情，给皇帝回了封信，言辞颇为无礼（《史记·卷一百一十二·滑稽列传》）。对于皇帝的侮辱性信件，一般大臣都只好忍了。但这次汉文帝很生气！后果很严重！他下令用囚车把薄昭迎回，交廷尉处理。按照汉制，廷尉是负责审核刑狱的大臣，相当于现代的最高人民法院院长。但这个职位很高而又权柄很大的“高法官”，其实并无实际审判权力。具体审判还得由地方上的基层法官完成。廷尉主要是对司法案件进行监督和审核。如果遇上特别重大的案子，廷尉还可以进行跨州跨省的调查，甚至直接向天子汇报情况。 面对这样一位手执生杀予夺大权的重量级人物，一个区区的外戚贵族居然敢如此无礼，可见当时潘家有多么嚣张。
不过，这个无礼的举动也彻底毁灭了潘家的荣光。回到长安后，薄昭被囚禁起来，不久就病死了。潘氏家族其他人也被牵连，或流放千里，或被关进监狱，从此一蹶不振。汉文帝则因这个插曲而得到“文景之治”的美誉，青史留名。 三国两晋南北朝时期，江南地区士族豪强崛起。潘家是东吴时期的四大名门望族之一，号称“吴中四姓”。西晋时，吴地世家大族纷纷向北迁往洛阳及周边地区。他们带去了大量的财富与政治资源，使中原地区的经济和文化重新焕发活力。与此同时，这些南方来的大家族子弟也开始在北方士林中崭露头角。
东晋南朝之时，南方士族更是凭借门第优势把控着朝廷命脉，成为最显贵的家族。潘家在这一时期也是如日中天。直到后来南北分裂，北方士人经过魏晋南北朝的乱世逐渐恢复元气，加上北周武帝大力推崇儒学，提倡门第之风，于是关陇士族开始崛起。到了隋唐时代，关陇集团不仅控制着朝廷的命脉，而且通过联姻和其他方式将南方士族纳入自己的势力范围。
隋炀帝杨广的皇后——独孤伽罗就是河南郡洛阳县(今河南省洛阳市)人，父亲是当地有名土豪，家产丰厚，地位显赫。唐朝建立之后，为了巩固政权，唐太宗李世民先后将自己的妹妹平阳公主、姐姐南阳公主嫁给关陇世族子弟为妻，进一步拉拢关陇士人，而像潘仁祖孙这样的关中地主自然更是水涨船高。