出身蘇州大阜潘氏文獻世家，祖父潘世恩，父潘曾瑩，從弟潘祖蔭。咸豐六年（1856年）進士，選翰林院庶吉士，國史館協修戶部左侍郎，因科場案罷官，充軍新疆。自此歸田以書畫、收藏古籍自娛。家有藏書樓「竹山堂」「歲可堂」，藏書至4萬餘卷，皆手自校讎一遍，分四部而藏。藏書印有「舊史氏」、「還讀書堂」、「梅逸道人」、「吟蘭書屋圖記」、「祖孫父子兄弟叔侄翰林之家」、「同是天涯淪落人」等。著有《竹山堂聯話》、《竹山堂隨筆》、《竹山堂詩補》及《竹山堂詩文集》等。