年既长，始以仕家推荫为兴宁陵丞，调大理丞。边将萧克济督役苛暴，役者有丑言，有司以大逆论，遵庆曰：“财不足聚人，力不足加众，焉能反?”由是全救数十族。频擢吏部员外郎，判南曹，不久担任徐州刺史。天宝时，选者岁万计，遵庆性强敏，视簿牒，详而不苛，世称吏事第一。肃宗时，为吏部侍郎。萧华辅政，屡荐之，拜黄门侍郎、同中书门下平章事。代宗初，仆固怀恩反，帝以遵庆忠厚大臣，故奉诏宣慰，怀恩听命将入朝，既而为其将范志诚沮止。时帝在陕，遵庆脱身赴行在。帝还，迁太子少傅。罢为集贤院待制，改吏部尚书，以尚书右仆射复知选事，朝廷优其老，听就第注官，时以为荣。