大约在公元前３０００年左右已有“图书文字”和“象形文字”了。有了文字自然会有专门传授和学习的机构，当时称为“成均”，这就是学校的最初萌芽。
到了夏代，则有了正式以教为主的学校，称为“校”。孟子说：“夏日校，教也。”还有“序”，又分“东序”、“西序”，前者为大学，在国都王宫之东，是贵族及其子弟入学之地；后者为小学，在国都西郊，是平民学习之所。商代生产力日益发展，文化日趋进步，科学日渐发达，因之学校又有增加，称为“学”与“瞽宗”。“学”又有“左学”、“右学”之别，前者专为“国老”而创，后者专为“庶老”而设。国庶之界在于贵族与平民。“学”以明人伦为主，“瞽宗”以习乐为宗。
西周是奴隶社会鼎盛时期，学校组织比较完善。当时分为国学与乡学两种。国学专为贵族子弟而设，按学生入学年龄与教育程度分为大学、小学两级。乡学主要按照当时地方行政区域而定。因地方区域大小不同，亦有塾、庠、序、校之别。一般情况下，塾中优秀者，可升入乡学而学于庠、序、校；庠、序、校中的优秀者或升入国学而学于大学。国学为中央直属学校，乡学是地方学校。
后来，人们专用塾称呼私人设立的学校，叫私塾。庠、序成了乡学之名。学则和校合并，成为教育机构的通称，一直沿用到现在。