所谓的“出墙杏”，实际来自于“红杏出墙”的语句当中。
红杏出墙，是一个汉语成语，出自宋·叶绍翁所著的《游园不值》一诗当中，在该诗当中有这么一句：“春色满园关不住，一枝红杏出墙来” 。
原本，“红杏出墙”仅仅是对春天景色的描写，但在宋代话本《西山一窟鬼》中把裴少俊和李千金不顾礼教而自由恋爱的故事联系在了一起，并用“如捻青梅窥少俊，似骑红杏出墙头”来形容女子李千金。
到了元代以后，“红杏出墙”的“暗喻”就显得更加明显，居然用“恰便似一枝红杏出墙头，不能够折入手，空教人风雨替花羞”来“暗喻”女子出轨。而到了近代，更是将不守妇道的女子比喻为“红杏出墙”。
那么，为什么“家富”之后不能够与不守妇道的女子有染呢
据心理学家介绍，人的欲望是无止境的。一旦一个人品尝过什么“甜头”之后，就会欲望大增，从而一发而不可收。如果一个人与不守妇道的女子有染，那么，就会深陷其中，而与女子有染是需要付出代价的，这种代价除了精神上的之外，还会有物质上的。而一旦一个男人长期与不守妇道的女子有染，那么，其物质上所需要付出的代价就会越来越多，从而有可能使自己从富裕的生活走向贫困的未来。因此，古人认为：“家富莫摘出墙杏”。
以上所言就是这句俗语所要表达的大概意思。
