典出《琴操河间杂歌箕山州》：以清节闻於尧。尧大其志。乃遣使以符玺禅为天子。於是许由喟然叹曰：“匹夫结志，固如盘石，采山饮河，所以养性，非以求禄位也。放发一优游，所以安己不惧，非以贪天下也。”使者还，以状报尧，尧知由不可动，亦已矣。於是许由以使者言为不善，乃临河洗耳。樊坚见由主洗耳，问之：“耳有何垢乎？”由曰：“无垢，闻恶语耳。”坚曰：“何等语者？”由曰：“尧聘吾为天子。”坚曰：“尊位，何为恶之？”由曰：“吾志在青云，何乃劣为九州伍长乎？”于是樊坚方且饮牛，闻其言而去，耻饮于下流。
在唐尧时期，有一个人叫许由，由于他很有才能，尧就想把天下交给他来管理。可是许由听到这个消息之后，他就逃到山林里隐藏起来。尧又召他做九州长，许由又不想听到这个消息，于是跑到河边去洗耳朵。正在这时，有名的隐士巢父牵着牛到河边来喝水，看到许由在河边洗耳朵感到很惊讶，就问其原因。许由说：“尧要召我做九州长，我不想听到这个消息，所以就到河边来洗耳朵。”巢父说：“如果你隐居在山谷中，与世隔绝，又有谁能够知道你？而你却到处乱跑，让人家了解你的名声。真是很虚伪啊。你在这里洗耳朵，我的牛在这里喝水，会玷污了我牛犊的口。”于是就把牛牵到河的上游去喝水了。
后来人们就用“洗耳”一词来比喻以接触世事为耻辱，指代超尘脱俗，不问世事的人。
