在柳州城西隅有一座歷史悠久的古寺——西來寺。該寺始建於明朝，後來在清康熙四年（公元1665年）時重建。史冊中也有關於該寺的記載，據瞭解，清乾隆二十九年（公元1764年）版《柳州縣誌》中有曾有提到過“西來寺在西門外。”
關於西來寺曾有過一段感人的歷史佳話。據傳說，唐元和年間，大顛祖師外出化緣，途經溪西鄉時，恰逢村民因旱求雨，但久求不至。天氣乾旱民衆收成比較差，祖師看到災民這樣，就跪在地面求雨，用火焚身，感動上天就下雨。
爲了感恩大顛祖求雨成功，造福當地百姓，當地民衆建了祖師堂專門供奉大顛祖師香火，明嘉靖四年（1525年）擴建僧舍，改稱祖師庵。清順治、康熙兩朝都有重修或擴建。到了乾隆七年（1742年）進行過大規模的重建，如今寺內保留一塊記載重建經過的清代木匾。
