古代没有将军，掌管军事的官职叫司马。那时国家军队数量并不多，天子只有六军（每军２５００人），诸侯最多不超过三军。各军的统帅叫卿，卿以下叫大夫（师），大夫以下叫士。到了春秋时代，诸侯为了扩大势力范围，不断增加兵力，大国诸侯常常拥有三军以上的兵力，而在编制上诸侯只能有三军，只能设三卿。于是，就把扩充军的统帅称做“将军”，意即率领一军的意思。作战时军队得由一人统一指挥，因此，在将军中选拔出大将军或上将军来全盘指挥。到了汉代军队数量更多，单设一位大将军管不过来了，于是又出现了骠骑将军、车骑将军、卫将军等级别。以后，各朝的将军虽不尽相同，但将军这一官阶仍然是分成若干级别的。