呼和浩特市第一中学的前身是1885年设立的古丰书院，后历经绥远省立第一中学，到1954年定名为呼和浩特市第一中学。1960年被定为省级重点中学。1978年自治区政府重新确定一中为首批办好的重点中学。1999年被内蒙古自治区党委、政府命名为“文明单位标兵”，2000年被评为首批“普通中学示范性高中”。至2013年，该学校占地面积8.8万平方米，建筑面积6.5万平方米，教学班72个，在校学生4300多人。与呼和浩特附中，土中，十八中，铁一中，十四中，六中等并列为八大自治区示范高中。
据史料记载，现呼和浩特市第一中学的建校历史，可追溯至距今120余年前。1885年（清光绪十一年）清朝第41位任归绥道道员安祥创建“古丰书院”，因呼和浩特地区古时称丰州而得名。光绪二十年（1903年）清朝第四十六任归绥兵备道道员朴寿根据清朝学务大臣令和《奏定学堂章程》改古丰书院为“归绥中学堂”（呼和浩特第一中学的百年建校历史从此时开始）。1912年，绥远城将军贻谷创建了“绥远中学堂”，同年，绥远城将军裁撤，“绥远中学堂”并入“归绥中学堂”， 后“归绥中学堂”更名为“归绥中学校”，张璞出任归绥中学校长，结束了呼市地区满、汉、蒙分教的历史，归绥中学校成为呼市地区的最高学府。1925年“归绥中学校”改名为“绥远区立第一中学”，赵允义（国民党绥远省执委）任校长。1929年因绥远特别行政区改为绥远省，绥远区立第一中学改为绥远省立第一中学 ，库耆隽任校长。
在1937年抗日战争时期，由于局势所迫学校解散，学校被日军占领。1939年-到后套（今巴盟杭锦后旗）的绥远省政府成立了“国立绥远中学”（绥中），由当时绥远省教育厅长闫伟筹办兼作校长，后绥中-宁夏，后又回到巴盟梅令庙，1949年“国立绥远中学”正式改名为“绥远省立绥远中学”。1946年春，抗日战争胜利后的几个月后，绥远省教育厅决定恢复归绥中学，由闫秉乾筹办 并任校长。1947年校长为刘佐儒。