儘管蟠桃會舉辦的地點在瑤池，但蟠桃園並非在瑤池邊上，兩者尚有比較遠的距離。仔細想一想這也可以理解，崑崙山地區海拔很高、空氣稀薄、氣候寒冷，自然條件比較惡劣，不太可能大規模栽種桃樹。因此，蟠桃園的原型應該距離瑤池有一定距離才更合理一些。在小說《西遊記》中，孫悟空從七仙女那裏得知蟠桃會沒有邀請他參加，憤怒之下定住仙女，並從蟠桃園飛去瑤池一探究竟。原著第五回寫道：
大聖縱朵祥雲，跳出園內，竟奔瑤池路上而去……變做赤腳大仙模樣……不多時，直至寶閣，按住雲頭，輕輕移步，走入裏面。
天宮蟠桃園孫悟空被玉皇大帝封爲齊天大聖，負責看守蟠桃園。有一天，孫悟空在蟠桃園內，看着那些熟透的蟠桃，心裏直髮癢，最終忍不住揀了一隻熟透的大桃來吃，後來見沒人發現，於是膽子越來越大，隔三差五，他都會設法前來偷吃。
