卫灵公篇载：子曰：“君子不以言举人，不以人废言。”
举，抬举、推荐、选拔。废，废弃。孔子的意思是：“君子不因为谁讲了漂亮的话就举荐他，不根据谁品德不好而废弃他说的有价值的话。”
孔子的总结十分精辟。其实，相近的思想在早于孔子一百多年就被表述了。“春秋第一相”管仲曾说，明主选拔贤人，对说自己勇敢的人试之以军，功显者举用，对说自己智慧的人试之以官，事治者举用，勇怯智愚试而可知，如黑白之分。“乱主则不然，听言而不试，故妄言者得用。”（《管子·明法解》）历史上不少佞臣受到信任和重用，都靠如簧巧舌，在任何时机、场合都能说出让“乱主”舒服的话。《管子》成书远在孔子之后，但这并不能证明孔子不了解管仲。退一步说，即使孔子不知道管仲有“不以言举人”的思想，“英雄所见略同”的规律也会使他们在某些问题上携起手来。
乍一看，“不以言举人”与上文“可与言而不与之言，失人”（卫灵公篇）似有矛盾，然一细想，两者实为统一话题之两面。与人交谈，可以得到诸多信息，可以在一定程度上了解此人能力、品质，因而不会错过人才。但是，察其言只是知人的一个方面，另一方面也许更加重要，即观其行。何况，不良之人的语言具有虚伪和欺骗的特性，古今中外都不乏饰言以求进身者。这正是孔子非常厌恶“巧言”（卫灵公篇）的原因。所以，既要通过知言以知人，又不能仅仅以言知人、举人。孔子在不同场合，对不同对象，强调不同侧面，仅此而已。
此章后半句“不以人废言”，可与宪问篇的“有言者不必有德”相互参照。虽说言为心声，但不是每句话都与地位、职务、品德相关联。位卑者、德行不高者都有可能说出有价值的言语。稍微有些辩证头脑的人都有经验，现实生活中好人并非没有短处和缺点，不说错话，不犯错误；而坏人中的多数也并非一切都坏，一无是处，他们也会说出对的话，做出对的事，哪怕很少很小，不能改变其主体形象，但有终究是有。
《诗经·大雅·板》有“先民有言，询于刍荛”的诗句。刍音锄，割草。荛音饶，打柴。祖先教导，要向草野鄙陋之人请教。这种可贵的思想，在孔子之后三百年的《淮南子·主术》那里得到了进一步的发挥。其言曰，君主无不想总汇海内之智，聚拢众人之力，“使言之而是，虽在褐夫刍荛，犹不可弃也”。褐夫，穿粗布衣服的人，即穷人。如果说得对，即便是社会底层的贫贱者，也不能弃之不理。“其计可用，不羞其位；其言可行，不责其辞”。地位再低，说的再不好听，都不要计较，只看“计”“言”是否可用可行。
“不以人废言”会有多样化的呈现，其中一个典型事例，是改革开放后对周作人的再评价。周作人投敌变节，为国人所不齿，但他的散文创作已先于政治堕落而成就斐然，因此人们对他在文学史上地位并未抹杀。又想到当今两位以文化学者著称的明星。他们的格调和境界受到众多诟病，愚亦不敢恭维。但是，两位一是文笔甚好，一是口才绝佳，总体来看在传播传统文化方面功不可没，其中亦不乏真知灼见。据观察，无人以他们为道德榜样，为感动中国的人，也无人全盘否认他们的书籍和演讲。这，大概也是一种“不以人废言”吧。
