司马遵之父司马晞因有军事才干，故受大司马桓温所忌，咸安元年（371年）桓温诬其谋反。晋简文帝逼于无奈，废其为庶人，流放到新安郡。

司马晞于太元六年（381年）去世，时桓温已死，晋孝武帝追封他为新宁郡王。因司马晞长子已去世，次子出继梁王司马翘，因此由三子司马遵承袭爵位。当时司马遵哭着受爵，感动左右。太元十二年（387年），晋孝武帝恢复武陵王爵位。

司马遵历任散骑常侍、秘书监、太常、中领军。桓玄专权时又以他为金紫光禄大夫。元兴二年（403年），桓玄篡位建立桓楚政权，司马遵被贬为彭泽县侯。

次年刘裕率义兵攻下建康（今江苏南京），并声称受晋安帝密诏，以司马遵承制总百官，加侍中、大将军。义熙元年（405年），晋安帝回建康复位，以司马遵为太保，加班剑武士二十人。

义熙四年（408年），司马遵去世，享年三十五岁，朝廷追赠太傅，谥忠敬，赠以殊礼。子司马季度袭爵。