所謂的“出牆杏”，實際來自於“紅杏出牆”的語句當中。
紅杏出牆，是一個漢語成語，出自宋·葉紹翁所著的《遊園不值》一詩當中，在該詩當中有這麼一句：“春色滿園關不住，一枝紅杏出牆來” 。
原本，“紅杏出牆”僅僅是對春天景色的描寫，但在宋代話本《西山一窟鬼》中把裴少俊和李千金不顧禮教而自由戀愛的故事聯繫在了一起，並用“如捻青梅窺少俊，似騎紅杏出牆頭”來形容女子李千金。
到了元代以後，“紅杏出牆”的“暗喻”就顯得更加明顯，居然用“恰便似一枝紅杏出牆頭，不能夠折入手，空教人風雨替花羞”來“暗喻”女子出軌。而到了近代，更是將不守婦道的女子比喻爲“紅杏出牆”。
那麼，爲什麼“家富”之後不能夠與不守婦道的女子有染呢
據心理學家介紹，人的慾望是無止境的。一旦一個人品嚐過什麼“甜頭”之後，就會慾望大增，從而一發而不可收。如果一個人與不守婦道的女子有染，那麼，就會深陷其中，而與女子有染是需要付出代價的，這種代價除了精神上的之外，還會有物質上的。而一旦一個男人長期與不守婦道的女子有染，那麼，其物質上所需要付出的代價就會越來越多，從而有可能使自己從富裕的生活走向貧困的未來。因此，古人認爲：“家富莫摘出牆杏”。
以上所言就是這句俗語所要表達的大概意思。
