现代奥林匹克运动的发起人、国际奥林匹克委员会第一任秘书长皮埃尔-德-顾拜旦，于1894年致函清政府，邀请中国参加1896年在希腊雅典举行的第一届现代奥运会。可以说光绪皇帝是中国第一个接到奥运邀请书的人，不过当时甲午海战使得北洋水师全军覆灭，清廷根本没有参与运动会的意愿与能力，甚至连“田径”为何物也不知道。
此后，中国很长时间与奥林匹克运动会无缘。直到1928年5月7日至8月12日在荷兰阿姆斯特丹举行的第9届奥运会，中国才派了宋如海以观察员身份参加。他是中国奥委会的前身“中华全国体育协进会”的名誉干事，是汉口中国青年会体育主任，也是旧中国第一位参加奥运会的人员。
1931年，国际奥委会正式承认中华全国体育协进会为中国奥委会，中国运动员由此取得了参加奥运会的资格。
1932年，第10届奥运会在美国洛杉矶举行。刘长春单枪匹马远赴洛杉矶参赛，成为出现在奥运赛场上的中国第一人。当时，刘长春是东北大学的学生，他断然拒绝了日伪的威逼利诱，在得到爱国将领张学良资助的8000银元作为赴美经费后，代表4-5亿同胞参加了奥运会。
在开幕入场式上，刘长春执旗走在前面，后面跟着教练宋君复，其他四人是在美国临时邀请的同胞。由于在太平洋上漂泊了25天，疲惫不堪的刘长春在赛场上没有取得好成绩。不过，刘长春开创了中国参加奥运会比赛的先河，对中国体育的发展影响深远。回国后，刘长春把自己的后半生献给了体育教育事业，他曾任中国奥委会副主席。
1936年第11届奥运会在德国柏林举行。中国终于派出了有63位运动员以及教练员和工作人员达数百人的队伍，还有一支40人组成的体育考察团。然而仅有一位撑杆跳高运动员达到及格标准，其余全军覆没。特别值得一提的是，中国足球队出征参加了这届奥运会，这是旧中国足球史上的第一次。由于当时中国政府只承担球队出征奥运会的部分费用，足球队决定提前出国，在东南亚作一系列访问比赛，既以此补经费之不足，又可锻炼队伍。
1948年，第14届奥运会在英国伦敦举行。中国派出了33名男运动员参赛。参赛项目有篮球、足球、田径、游泳、自行车等，其中游泳、自行车两项都只有一位运动员。游泳选手、印尼华侨吴传玉，自行车选手、荷兰华侨何浩华等均是自费前往伦敦参赛。代表团由于经费不足，不要说生活费，就连飞机票也不能全部解决。足球队和篮球队双双采取先赴南洋表演比赛的办法，靠门票收入解决路费。
到了伦敦，各国选手都住进了奥运村，唯独经费拮据的中国代表团被安排在一所设备简陋的小学。在自行车比赛中，一路领先的何浩华在临近终点将要取得第一位时，被后面冲上来的自行车撞倒而摔伤左臂，严重骨折，最终饮恨赛场。旧中国运动员参加了三届奥运会，那艰辛苦涩的奥运梦，成为一幕幕令人辛酸的回忆。