义务教育起源于德国。宗教领袖马丁·路德是最早提出义务教育概念的人。改革胜利后，为使人们都有学习《圣经》的能力，路德颁布了义务教育法。1619年，德国魏玛公国公布的学校法令规定：父母应送其6~12岁的子女入学，这是最早的义务教育。在1763年到1819年，德国基本完善了义务教育法规。
工业革命后，义务教育发挥着使人们掌握工业知识的任务，义务教育的时间也由最早的3个月至6个月，发展到6年，直至9年。
义务的含义包括父母与家庭有使学龄儿童就学的义务，国家有设校兴学以使国民享受教育的义务，以及全社会有排除阻碍学龄儿童身心健全发展的种种不良影响的义务。16世纪欧洲宗教改革运动中，新教国家为推行宗教教育，提倡广设教育。1619年，德意志魏玛邦公布的学校法令规定，父母应送其6～12岁子女入学，否则政府得强迫其履行义务。此为义务教育的开端。英、法、美等资本主义国家大多在19世纪70年代后实行义务教育。
根据联合国教育、科学及文化组织的有关统计资料，到20世纪70年代末80年代初 ，已有近60个国家实施义务教育法。各国实施义务教育的年限长短，大体是由该国的经济发展水平和文化教育程度决定的。中华人民共和国建立后，初期起临时宪法作用的《中国人民政治协商会议共同纲领》及以后正式颁行的国家宪法中，都明确规定公民有受教育的权利和义务。1985年5月27日《中共中央关于教育体制改革的决定》指出，义务教育，即依法律规定适龄儿童和青少年都必须接受，国家、社会、家庭必须予以保证的国民教育，为现代生产发展和现代生活所必需，是现代文明的一个标志。
清朝末年，欧美各国以及亚洲的日本大都普遗实行了义务教育。清政府某些官员了解到这一情况后，便在20世纪初草拟清廷有关文件时使用了“义务教育”、“强迫教育”这样的词语。
1903年。清政府顺布了《奏定学堂章程》（旧称“癸卯学制”），是中国近代教育史上第一个以法令形式公布的并在全国推行过的学校教育体系。
旧中国正式提出试办义务教育是1911年。该年7、 8月，清政府学部派人在北京主持召开中央教育会议，会议议决了《试办义务教育章程案》等文件。本案明确规定以四年为义务教育期，并提出了试办义务教育的办法。
1912年，民国临时政府教育部颁布了《学校系统令》，即《壬子学制》，也是规定了“初等小学四年，为义务教育”。至此，从清末以来，拟议、酝酿了10余年的义务教育之事，终于被认定。1937年，民国政府教育部颁布《学龄儿童强迫入学暂行办法》，这个时期的义务教育概念是强迫教育。1940年4月，民国政府教育部制定《国民教育实施纲饭》，规定国民教育分为义务教育和失学民众补习两部分，两者同时实施。
