南蛮的称谓最早记载来自于周代的《礼记》礼记·王制,中国戎夷,五方之民,皆有性也,不可推移。东方曰夷,被发文身,有不火食者矣。南方曰蛮,有不粒食者矣,雕题交趾。西方曰戎,被发衣皮,有不火食者矣。北方曰狄,衣羽毛穴居,有不粒食者矣。在南宋末年明朝末年,“南蛮”是蒙古人和满族人对退守南方的汉族人的称呼。