宰相蔡京父子屡欲与之结交，被其拒绝。南宋靖康元年(1126)，钦宗问谁可为相，良贵言何?、唐恪等4人不可用。遂被当权者视为狂妄，黜监信州汭口排岸。高宗即位，召为左司谏，即建议高宗巡幸淮扬，选皇室贤者为山东、河北长官，以此壮国体、养兵威，以图恢复大宋江山。后历任提点荆湖南路刑狱、秘书少监、中书舍人等；又曾出知明州、严州。以徽猷阁待制提举亳州明道宫。归家，十年不出。良贵居官刚正不阿。王黼、张邦昌均欲招为女婿，章惇谋以孙女嫁其，许奁资300万钱，皆予以拒绝。后娶范仲淹后裔一孤女为妻。晚年贫甚。秦桧差人暗示其去求一郡令，亦予拒绝。病卒，无以为葬，高宗赐钱50万。时婺州有“三潘”，即“富潘”、“贵潘”，而良贵号称“清潘”。有杂著15卷，朱熹为之序。清康熙年间，其裔孙掇拾散佚的著作编成《默成文集》8卷刊行。
君不见子猷嗜好与俗殊，种竹不可一日无。
又不见太白清狂世绝伦，举杯邀月独相亲。
飞花看六出，俄向腊中来。解验人情喜，始知天意回。
夜阑窗愈白，晚冻日难开。麦熟何时节，饥民正可哀。
扫地焚香避湿蒸，睡馀茶熟碾声清。风来桐竹僛僛舞，雨过阶除㶁㶁鸣。
贤哉蘧瑗晚知非，此道吾今亦庶几。
囊乏一钱聊自哂，家无三径不妨归。
软语干时刍豢美，苦言投俗桂姜辛。山河若欲摅幽愤，盥手焚香读过秦。
天与孤高花独新，世间草木信非伦。
影涵水月不受彩，气傲冰霜何待春。
