肩章最早本是古代侠客义士用来保护双肩，以防冷兵器打击的金属板片。后来，肩章在法国军队中，是戴在肩上作为区别军官与士兵的记号，而在俄国军队中，肩章出现的最初时间是 1763年，戴在男式长衣的左肩上，作为隶属于某一团队的识别记号，同时还是一种用来绊住子弹带背绳的装具。
从 1810年以后，各种肩章便逐渐固定下了各自的颜色，用来戴在双肩上面。1854 年，在俄国军官和将军的制式军服上便出现了正规的肩章。从此，肩章在各国军队中便逐渐地实行起来，并且成了表明军衔高低和军兵种区别的符号标志。