始建於北宋開寶年間（968～975），開山祖師失考。北宋政和四年（1114），程門弟子楊龜山建書院於常州，南宋紹興五年（1135），龜山先生遷書院於雪堰作講學之地。“龜山”之名，沿用至今。南山寺重修在“龜山”書院遺址之上，從此，南山寺與龜山書院有了不解之緣。民國時，南山寺僧惠乘立楊龜山先生神位於寺內，俾四方瞻禮之餘，不忘書院故跡。龜山書院建在南山後，寺院得其靈氣，常爲賢人君子轍跡所經之地。鼎盛時期，有大雄寶殿、觀音殿、羅漢殿、藏經樓等建築200多間。寺容寺貌莊嚴，寺規寺儀井然，與無錫陽山相對，有“南天門”之稱。真乃佛門同修、善男信女敬佛、禮佛、修身養心的極佳道場。晴空山晚，暮鼓晨鐘四方教衆，雲集如潮誦經唸佛，氣勢恢宏。
1949年初，廟宇被拆他用。1995年12月批准恢復重建。1997年起，重建天王殿、大殿以及部分輔房。2001年起又建唸佛堂、講經堂、齋堂、因果殿，以及東西相對而立的7間二層樓，東首爲三聖殿，供奉2.2米阿彌陀佛、1.8米高的觀音菩薩和大勢至菩薩。西首殿供奉緬甸請回的2.6米臥玉佛。
