学校创始人聂云台，名其杰，其父聂缉椝是曾国藩女婿、曾任上海道台。聂云台先生捐地十一亩余，在培开尔路荆州路角（今荆州路42号）由工部局建屋兴学，1916年1月始招生，校名为“聂中丞华童公学”，第一任校长为英国人端纳（L.H.Turner ）。1941年易名为“缉椝中学”，1945年抗战胜利后成为一所市立中学，1951年改为现名“上海市市东中学”。2004年，原市东初级中学整体并入，学校成为一所完全中学。
开办初期，采用英国学制，除国语外，其它学科的教科书悉用英国原版书。此外，簿记及机械制图均列为必修科，亦为学校特色之一。开设金、木手工科，注重学生手脑并用，毕业后有一技之长以利就业，这在当时尚属首创。
解放后，学校以“培养劳动人民子弟成为国家栋梁之才”为办学宗旨，以“堂堂正正做人，实实在在做事”为校训，1953年始，逐步形成“两个课堂”并举的办学策略，成为上海市教育改革的试点学校。涌现出一批在上海乃至全国有广泛影响的优秀教师，培养出一大批国家建设的各方面人才。著名教育家段力佩、吕型伟担任解放后的第一、第二任校长。2006年举行九十周年校庆时，校友中有当时的中共上海市委副书记龚学平（后担任上海市人大主任）、纪委副书记洪林珍、副市长周慕尧、人民-检察长吴光裕、总工会主席包信宝、台湾文化名人李敖先生以及一大批荣誉校友回母校参加校庆活动。