徽宗宣和四年(1122年)，为元城尉，调平阳府司录，济南府教授，除太学博士。钦宗靖康元年(1126年)，为太常博士。既而使金，迁著作佐郎。使还，擢尚书吏部侍郎兼权开封府尹。二年，从钦宗至金营，金人背约，逼钦宗易服，若水敌不屈残杀，时年三十五。

高宗建炎初赠观文殿学士，谥忠愍。有《忠愍集》，《直斋书录解题》著录十二卷，《宋史·艺文志》作十卷，已佚。清四库馆臣据《永乐大典》辑为三卷，其中诗二卷。

《宋史》卷四四六有传及多种史书籍有传，小说《说岳全传》有一节对他壮烈殉国事迹有所描绘。

李若水的诗歌《捕盗偶成》是历史上最早的关于宋江的记载。