孔子说“惟女子与小人为难养也，近之则不逊，远之则怨”，将女人与小人相提并论。
最近，武汉大学教授陈文新在“国学班”上课时，对孔子为何发出如此感叹，推测出两种原因：一是孔子可能在谈恋爱的过程中受过挫折；一是孔子婚后家庭生活不太美满。
孔子谈恋爱的过程中是否受过挫折，不得而知，如果真有其事，不知道是不是与长得不帅有关。高安侠在《另眼看孔子》一文中提到，孔子是一个“白眼仁多，黑眼仁少，鼻孔外翻，牙齿缝大，脑袋四周高中间低，活像个倒扣的痰盂，而且个头也不高”的人。长成这等形状，谈恋爱时遭女性拒绝取笑，落下心理阴影也不是不可能的。
不过，孔子的婚姻生活不太美满却是真真切切的——孔子是个离过婚的男人。孔子那个时代不叫离婚，叫“出妻”，也就是后来说的休妻。关于“出妻”，古代礼书中有“七出”的规定，即妻子在七个方面（无子；淫佚；不事父母；多言；盗窃；妒嫉；恶疾）的任何一个方面“有问题”，丈夫都可据此宣告解除婚姻。孔子出妻是有据可考的。《礼记》记载：“门人问诸子思曰，‘昔者子先君子丧出母乎？’”子思是孔子的孙子，这里是门人问子思：“从前你的父亲为被休出的母亲穿孝服守丧礼吗？”宋代大儒朱熹对此有注解：“伯鱼之母出而死。”伯鱼是孔子的儿子，这段史料证明孔子确实离过婚。
依照猜测，孔子是一个以事业为重的男人，为了推销自己的学问，获得君王的采用，长年周游列国，哪里顾得上老婆孩子。做妻子的上要照顾老人，下要抚养孩子，还长年见不到丈夫，其辛酸苦闷可想而知。无论多任劳任怨的妻子，也难免唠叨，甚至生气抱怨。每当此时，估计学成文武全艺，却没能货卖帝王家，只能教教学生混口饭吃的孔子，也会有一肚子的气无处发泄，夫妻之间的矛盾在所难免。
时间长了，孔子也可能会厌烦起妻子和婚姻来，最后找了个理由将妻子扫地出门。某一天更是在借酒浇愁时发了一番“惟女子与小人为难养也”的感叹，被门人记录下来。据《历史为谁“变脸”》
