南京市山西路小学始建于一九五五年九月，办学之初，学校仅有八个班级，三百七十多名学生，分布在水佐岗等几所学校上课。一九五六年，新校舍建成，全体师生回校。
六十年代初期，学校迅猛发展，教育教学成绩斐然。历届学生考试成绩均在全区名列前茅。学校还经常担任对外接待任务，因此被市委宣传部定为重点小学。教育部成仿吾副部长、省教育厅朱子闻厅长曾来校视察。学校的教学管理经验还多次在市教育工作会议上进行交流。学校的合唱团闻名于市，后逐渐成为南京市小红花艺术团的摇篮。
党的十一届三中全会之后，学校抓住改革开放的契机，加快发展。学校领导带领全体教师轰轰烈烈搞课改，扎扎实实抓教学，一批名特优教师脱颖而出，耿芳珠、冯培英、周家才、韩素珍等一批名师的名字如雷贯耳，声震金陵，他们为山西路小学创造了辉煌。