他也有飞黄腾达之心，但是却屡试不中，一直都是个秀才。等到晚年，潘从源心灰意冷，准备告老怀乡。但是就在回家途中，潘从源一家路过了五里隘。这地方放今天来看都是风景秀丽，还是古时的交通咽喉要地，但是在深谙堪舆之术的潘从源眼中，此处可不简单。

他四处查看，发现有一处山窝视野辽阔，背靠环状高山如椅状。山脚下的盆地有两条河流汇聚而来，是“玉带缠腰”的格局，更绝的是，还是“双江汇秀”，只流进不流出的格局。而小山窝视野的前方还有数座朝案山，有的呈笔架形，有的是沙帽形。

潘从源觉得自己发现了一块风水宝地，下定决心一定要埋葬于此，以保后代文星荟聚。可这是当地农民的土地，自己并不能强买强卖。于是，潘从源心生一计。他赶着牛去当地农民的田里，让牛将人家的禾苗给吃了。

当地人见到如此“恶霸”，纷纷上前理论，潘从源便用言语激怒当地农民，挑衅打人。农民一见这场景愤怒不已，纷纷涌上前去将潘从源给打死了。这时潘仝遵照父亲的嘱咐登场和村民们理论起来。

村民们打死了人，自知理亏，也尤其害怕官府的抓捕和惩罚，便同意了私了。潘仝的要求便是让村民们将小山窝上的那块地让出来给他父亲埋葬，村民们答应了。而后潘仝果然高中，仕途也一帆风顺，这个故事流传了出来，这座山也就成了“状元家山”。

潘仝的后代也同样的是人才辈出，他一生有八个儿子，其中大儿子潘念文武双全，不仅成为了一品光禄大夫，还是南宋时期著名的抗金将领。他的儿孙也一直子承父业，在沙场征战，最高的达到了兵部尚书的职位。

而潘仝的第八子潘毅更是皇室护卫都统，遗憾的是，他在1279年殉国了。他的儿子潘任也跟着父亲潘毅以绝食明志，最终身亡。从潘仝开始，潘家可谓是满门忠烈，个个飞黄腾达。就连朱元璋都特地为潘家颁谥“忠节”，以表彰潘家先辈们的气节。

现如今，潘家依然保有着近800年的传承，在各行各业出人才。而状元家山的这块小小的坟地依然香火鼎盛，潘家的当代子嗣会时不时回来祭拜。不管是风水真有作用，还是心理因素的影响，潘家后人也算是对得起他们的祖宗潘从源“以死发家”了。