古代把研究文字訓詁、音韻方面的學問叫小學。每個文字具有三個部分：1、字形2、字義3、字音。在漢代，分別不很顯著。宋末王應麟《玉海》已分成三種：體制、訓詁、音韻。清代的《四庫全書》，把小學書分爲：訓詁、字書、韻書三類。
讀書必先識字，掌握字形、字音、字義，學會使用，周朝兒童入學，首先學六甲六書（六甲指兒童練字用的筆畫較簡單的六組以甲起頭的干支。六書即指事、象形、形聲、會意、轉註、假借），西漢時稱“文字學”爲“小學”，唐宋以後又稱“小學”爲字學，“小學”之名即由此而得。
國民政府於1915年改初等小學堂爲國民學校，“以授以國民道德之基礎及國民生活所必需之普通知識技能爲本旨”。“小學堂”劃分爲初等小學堂和高等小學堂。六歲入學，修業四年，畢業後視具體情況可升入高等小學校（修業三年）。
另設預備學校，同國民學校、高等小學校平行，“以施以初等普通教育、預備升入中學爲本旨”。國民學校分前期（四年）和後期（三年）。
1922年，國民學校改爲初等小學校，取消預備學校。1940年，國民政府實行所謂“管、教、養、衛一體”，規定各鄉設中心國民學校（相當於中心小學），由鄉長兼任鄉壯丁隊長和校長，各保設國民學校（相當於村小），校長由保長兼任。
中華人民共和國成立後，在鄉鎮（人民公社）一級設定一所中心小學，在各村（生產大隊）設村小。隨着老齡化加速，幼兒人口比重下降，小學生源減少，各村小開始撤併，很多地方僅保留寄宿制中心小學，使得路途遙遠的學生上學極爲不便。
新中國的小學學制，廢除了民國時期的初小和高小之分，實行一貫制小學，先後有五年制和六年制小學。由於推行九年制義務教育，小學升初中不再實行考試。
現在大陸小學學制：
一、六年制
小學教育一般是六年制，分三個階段：一年級、二年級叫低年級，三年級、四年級叫中年級，五年級、六年級叫高年級。1970年初，本着“教育要革命，學制要縮短”的理念，開始將小學六年制改爲五年制。1979年，又將五年制改回到六年制。
二、五年制
21世紀初，一些地區又進行試驗，實行小學五年制教育。如寧波、山東等地2006年在部分學校試行小學五年、初中四年的“五四學制”試點。濟寧等地現今也沿用“五四學制”。
