他幼年时，家境贫寒，父亲是一个箍桶匠，一家人靠父亲仅有的一点收入维持生活。刘冠雄的父亲有五个儿子，除四子早丧外，其他四个后来都在海军中任职。儿子们成名后，刘冠雄的父亲被奉养在家中，衣食不愁，但他却舍不得丢掉使用多年的箍桶担子，一直保存着。他的这副担子有时还能派上特殊用场：当儿子们发生矛盾又劝说无效的时候，他就会挑起担子，威胁要上街去，以此来平息他们的争执。

刘冠雄是兄弟中最小的一个，也是后来官位最高的一个。少年时，他和许多福州子弟一样，考入了设在马尾的福州船政学堂。福州船政学堂由前学堂和后学堂组成，前学堂专门培养造船人才，后学堂专门培养海军军官。后学堂设有驾驶（航海）和轮管（轮机）两个专业，刘冠雄是驾驶班的第四期学生。

刘冠雄完成了在福州船政学堂为期三年半的堂课学习和近两年的海上实习后，顺利毕业，被派往北洋海军，成为一名见习军官。