这位富商叫胡来富，当初本只是个卖豆腐的，后来不知怎么就暴富了起来。据说他是挖到了一个大徽商埋在地下的银窖。不管怎样胡来富富了。他建房买地，出手阔绰，气势十足，人有了钱，心态就不一样了，胡来富觉得乡里乡亲的客气全是因为他有了钱的缘故，架子就更大了。别看胡来富有钱，可硬是一个“拔一毛利天下而不为”的人，村里一些穷苦人从来得不到他的接济，社会上要办些公益事也休想让他拿出一分钱来。
胡来富只有一个单根独苗的儿子，自是疼爱万分，是捧在手里怕冷着，含在嘴里怕化了。儿子出门玩，胡来富总要给他口袋里装些小银锭。这小子就更是了得，硬是拿这银锭当弹子跟别的孩子玩。乡邻乡亲的，就算别人家的小孩赢了他的银子，人家父母也会拿来还给胡来富，胡来富觉得这是看不起他，他不再让儿子去跟别的孩子玩。这儿子一天没事，就在村里转悠，在这捣蛋，在那弄事，当别人到他家告状时，胡来富总是大咧咧地说:“怎么了，大不了赔你钱。”有这样的老子，儿子更是胆大了打人闹事。胡来富家的亲戚劝他给孩子读书，来富让儿子上了几天学，可儿子对读书没兴趣，三天两头逃学，老师上门告状，胡来富爱子心不明，从不严加管教，反而责怪老师无能，久而久之儿子干脆不读书了。胡来富也听之任之，亲 戚们再和他说读书的事时，他把眼一瞪:“读什么书，我什么书也没读不照样有钱，我的银子儿子的儿子，孙子的孙子都用不完，还读什么书?”
就这样，胡来富那不争气的儿子一天天地长成了五毒俱全的人物，有次伤了人命，逃到了外地，胡来富的年纪也大了，也少了些当年的张狂。为了儿子的事，上下打点，用钱如水，打那以后他也就羡慕起别人家读书的儿子来了，再后来他自己也请了一个老先生上门来教自己。
胡来富的儿子逃到了外面，更是胡作非为，终于锒铛入狱，秋后问斩。由于他死不认罪，最后杀头时，连哪里人氏都没搞清，所以儿子的死，胡来富一直都不知道，只是后来几位到外地经商的人回来，谈起他们在法场上看到胡来富的儿子，西递村的人才知道那“害人精”已死了。本是风烛残年的胡来富，听到儿子的死讯，更是万念俱灰，再加上几年读书，使他明白了些道理，看看村里那些读书人家一代传一代，真是读书人家穷不久，不读书人家富不长，觉得自己的一生真是太浑了。他把自己的感慨告诉教他读书写字的先生，那先生便为他写下了这副“世上几百年人家无非积善，天下第一等好事还是读书”的楹联。
胡来富最后的心情也许是悔恨的，但带着他那感悟的联文，确给西递后人以示启示。
