最早的出处，可能是宋代的话本《西山一窟鬼》。其中形容女子有"如捻青梅窥少俊，似骑红杏出墙头"。这个话本说的是裴少俊和李千金不顾礼教的恋爱情事。元代白朴根据此话本，还写成著名杂剧《墙头马上》。到了元代以后，"红杏出墙"的用法就愈加明显起来。比如"恰便似一枝红杏出墙头，不能够折入手，空教人风雨替花羞"。到了近代，"红杏出墙"的用法就固定了下来。鸳鸯蝴蝶派的刘若云，还写了名作《红杏出墙记》。
由于"红杏""墙头"在古代文学中的特殊地位，所以，"红杏出墙"通常只是一种含蓄的指代，并且暗指这种出轨是事出有因的，"小扣柴扉久不开""春色满园关不住"嘛。所以是含有浅浅的"风流"褒义。
而到了今天，随着女权的兴起，"红杏出墙"这个词，用法和褒贬色彩发生了更多的变化。很多女同志，开始光明正大的对外宣称："偶要红杏出墙了！"这真不是胡说，我有个熟人，他的老婆一和他拌嘴，就喜欢这样大声的嚷嚷。
