先生於版本鑒定独具隻眼，功力絕非一般。先生嘗自云：「余生薄祜，十二喪父，上襲先祖餘蔭，有書四萬卷。稍知人事，頗喜涉獵，自經史子集以逮百家雜說，輒复流覽，貪多務得，每為塾師所非斥，而余怡然自樂，未嘗以他嗜少分其好。弱冠以還，節衣縮食，窮搜墳典，于時求備而已。秘冊精槧，不暇計及。先兄泥古善鑒，與有同嗜，力所未及，輒為援手，積累二十年，藏篋卅萬卷，列架插籤，雖不敢自比于通都豪富之藏，然以之考覽优游，無閱肆借瓻之苦。」（《陟岡樓叢刊》序）又云：「學藝而外，耽嗜圖書金石。才十五六齡時，便節衣縮食，有志窮搜遐方絕域，盡天下古文奇字之志。自壬戌（1922）迄丙子（1936），十五年中積書三十萬卷，石墨二萬通，簿錄甲乙，丹黃紛披，甘老是鄉矣。」
先生弱冠起即購书，隨著時間的推移，經眼之書也多，賞鑒能力也隨之增強。二十年代後期，先生即與蘇州藏书家鄧邦述、徐乃昌、宗舜年、丁初园等人結識，晨夕過從，獲聞緒論，縱論今古，樂谈版刻，賞析奇書。甚至與老輩藏书家角逐於書林，偶見一奇帙，輒相爭取，而書賈从中居奇，互相射覆。那時先生年方弱冠，而諸老皆皤然耆彥，引為忘年之交。也正是先生通過和多位老丈的溝通交流，而獲得了書本上所沒有的知識和經驗。先生曾告訴我說：和老輩們在一起，聽到的都是聞所未聞的事。他還說，那時買版本書也有鑒定錯誤，沒有看准的，那就會請老輩們看，想怎么會上當的，然後總結教訓，以求少犯錯、不犯錯。先生的版本鑒定学问全凭水滴石穿之苦功，非长年累月之积淀，决达不到此一境界。如此說，是因為此門學問无捷径可走，全憑所煉就的一雙眼睛。
1937年，日寇侵華，蘇州文物備極蹂躪，狼藉篋衍。藏書家老成凋謝後，遺笈飘零，流散市廛者不知凡幾。丁初園、孫毓修小綠天、莫氏銅井文房、曹元忠箋經室、顧公魯、徐氏積學齋、許氏懷辛齋藏书相繼流散殆尽。淪陷区之不少文献故家，又以生活日漸艰困，所藏珍本古籍，无力世守，也紛纷流入市肆。在抗战正酣的那個年代，以個人的力量去大規模搶救古籍善本，保存傳統文化是不可能的，先生盡管衣食困廹，无復购书餘力，但仍以搶救傳統文化為己任，訪旧搜遺，择尤选萃，盡可能地去保存一些鄉邦文獻、故家遺物及明末史料。先生認為中華典籍文化乃前賢精力所萃，即使一般學人稿本也應保存。如諸仁勛《後汉书諸侯王世系考》一書，此稿經乱，由疁城流徙沪肆，鮮有过问及之者，先生独惜其文字之湮灰无传而留之。
有些稿本流入市肆，估人莫審誰稿，一時無人問津，但先生識得手筆，急欲為故人存留紀念，如吳大澂《吳愙齋先生手校說文》、宗子岱《爾雅注》殘稿等。先生還曾在市肆乱书堆中，发現劳权手抄《云山日記》，黏貼在兔园册子上，先生知道是焚燎之餘，購下後覓工重装。又如像陳鱣手校本《五代史补》及《五代史闕文》，既无陳氏印記，又无署款，賈人不识，先生亟收诸篋笥。有的書流入印匠之手，破碎幾罹覆瓿之厄，如《姚秋農說文摘錄》稿本。先生嘗嘆云：「鋒鏑餘生，情懷抑郁，重以衣食困頓之際，癖嗜未解，嗟嗟吾生，徒自苦耳。」那個時期，先生在蘇州還協助鄭振鐸搜集明清總集及清人詩文集，曾代為購得罕見本多種。先生在保存古籍方面，功不可泯。
王佩諍《續藏书紀事詩》中有一首是詠潘先生的，詩云：「滂喜斋溯收藏富，金薤琳琅旧雅園。渊博当今刘子政，玄著超超七略存。」先生費尽辛苦，多方蒐集，累藏珍本数萬册，均藏於著硯樓中。「著硯」者，以藏宋代王著之硯也。先生很多藏書，都有函套，紅紅綠綠的顏色，我曾問過先生，為什么要用這種顏色。先生笑著說：那都是用被面做的，紅白喜事時，親朋好友們送的，太多了，又沒有什么用處，所以就用來糊在馬糞紙上做成書函套，這叫廢物利用。先生藏書雖说未丰，但孤本秘籍往往而在，是犹千狐之白，所重者以精不以多也。
书籍藏弆，鲜有百年長守之局，自古皆然。先生是过來人，兴废变迁看得实在太多。抗戰勝利後，先生遄返檢书，三十萬卷所存已十不一二矣。1950年，先生在滬，又悉故鄉所存之書為其姪論斤斥賣以盡。固知聚散飄忽，但及身而見，仍愴然之至。「第念三十年來，篋衍所存，一没於兵火，再罹於胠篋，其仅存者比悉論斤於犹子之手，历劫蕩然，固不免恋恋悵悵。」（《著硯樓書跋》序）1956年在上海時，尚有宋元明刻本、抄校稿本千餘种，但十餘年中，生活困难，不能敷給，往往出以易米，其時，亦去十之四五。
先生深感守書不易，恐旦夕间往往所聚者容或失之，乃将所貯悉数捐贈圖書館保存。前几年我在寫《顧廷龍年譜》時，就發現潘先生在四十年代贈給「合眾」不少書，也包括元刻本。先生跋《大阜潘氏支譜》云：「比岁旅食沪上，不暇顧及故居，家中長物悉被論斤称担，蕩然无存。此书之成，与余齐年，环顧滄桑，冉冉将老，緬怀终岁飢駆，焉能長护斯籍耶？殘岁檢籍，亟捐藏合众图书馆，俾異日犹可蹤跡焉。」
先生捐出的書很多，有些比較重要，如1947年將叶昌炽手稿本《缘督庐日记》捐给苏州图书馆。1949年末，將清人傳記資料以及其他書籍約三百餘種捐獻合眾圖書館，並編成《吳縣潘氏寶山樓書目》。1950年，又將不少宋元刻本捐獻北京圖書館。由於先生對保護傳統文化有功，且捐獻了不少稀有罕見的古籍善本給國家，1951年6月7日，文化部副部長郑振铎在上海設宴，宴請捐献文物图书给国家的人士，包括潘世兹、丁惠康、潘景郑、瞿凤起等人。
先生收藏中最可觀的是金石拓本。弱冠時，先生思輯《苏州金石志》，搜拓石墨，即一縣所得，已千餘种。并曾鸠工編拓虎丘刻石，纖細靡遺。先生所輯《虎丘題名全拓》，較之《虎阜石刻僅存錄》、《虎丘金石经眼錄》又增益十数种，並装成大册捐贈「合众」。先生後來又从孫伯渊处购得刘氏聚学軒所藏七千种金石拓片，内含葉昌熾五百經幢館拓本、拓片計三千六百八十一种。叶藏以题名造像为多，分地凡八十餘处。先生经二十年之殚心搜罗，所聚逾一萬七千种，也悉數化私为公，捐與「合眾」，而今珍藏於上海图书馆。
潘先生是从事图书館工作的資深專家，早在1940年4月，合众图书館总干事顧师廷龙先生即深盼潘先生能來相助。這也是葉景葵先生之意。据顧先生是年4月21日日記，「揆丈意，將來須主金石一部，則景郑尤为相宜，实为图书館中难得之真才，与龙意見融洽，合力为之，必能薄具成績，非为私也」，「但独木不能建大厦，然得人之难若登天。」潘先生自己也説，抗戰時，葉景葵創辦合眾圖書館於滬上，「招余從事編校之役，先後逾十年，因得盡窺枕秘，纂錄藏書提要十餘冊，并與校勘藏目之役。」由于潘的加盟，顧师如虎添翼，潘先生也是如魚得水。从1940年8月1日在合众图书館上班始，直至1988年从上海图书馆光荣退休止，共计四十八年之久。
原「合眾」的藏書基礎，首先是几位發起人所捐獻的家藏，他們將數十年甚至畢生搜集的珍藏無條件獻出，並各具特色。如張元濟將數十年收藏的善本及舊嘉興府著述、海鹽先哲著作，李宣龔將近時人的詩文別集和師友手札、葉恭綽將收集的山水寺廟專志及親朋手札悉数捐出，而潘先生捐贈的是清人傳記、大宗金石拓片、清代科舉考試硃卷約一萬份。數量可觀。「合眾」的藏書目錄大部分是潘先生所獨立編竣，如1946年10月編的《海鹽張氏涉園藏書目錄》，1948年8月編的《番禺葉氏遐菴藏書目錄》，1951年5月編的《胡樸安藏書目錄》、1951年9月編的《李宣龔藏書目錄》、《周氏幾礼居藏戏曲文献録存》等等。
1958年10月，上海市歷史文獻圖書館併入上海圖書館，自此先生就一直在上圖善本組工作，一直到退休。他的工作主要就是為善本書編目、編輯《上海圖書館古籍善本書目》。上圖那一萬四千種善本書，包括宋元佳槧、明清善本、抄校稿本等等，就是在1961年至1965年時，由先生和瞿鳳起先生編完的。
文化大革命，对于中國人來说是一场大災难，潘先生理所当然地受到冲击，没有逃过此劫。1966年夏，他即作为「封建地主阶级的孝子贤孙」，处境日艰，压力日甚。不久，上海图书館又抄了先生的家，部分图书梱載而去，餘下者全部封存在柜。先生1975年三月跋《敝帚存痕》云：「七八年來，囊篋屡空，筆墨頓废，雖未皈心空门，視世间文字都如嚼蠟矣。」
