南京市第一中學溯源於光緒三十三年（1907年）創設的崇文學堂，校址爲清代江寧府署箭道、西花園舊址。不久思益學校（1903年創辦）併入，其後學校三易校名。
1927年，李清悚先生創辦首都中區實驗學校，實踐陶行知教育思想。1933年，學校改稱南京市立第一中學。1937年抗戰爆發，部分師生西遷，與蘇浙皖入蜀師生聯合成立國立二中。1945年，學校於原址覆校，推行“真教育”。
新中國成立後首任校長朱剛倡導“爲祖國而教，爲祖國而學”。1953年，學校被確定爲14所江蘇省重點中學之一。1998年，學校深化素質教育，推行“中學導師制”。2000年，學校被評爲國家級示範高中、江蘇省模範學校。2004年，被評爲首批江蘇省四星級高中。
