王先谦生于道光二十二年（1842），幼习经史，初学古文词，师曾国藩，遍览群籍，颇识制度名物。十八岁补禀膳生。咸丰十一年（1861）赴安徽安庆，任长江水师向导营书记，数月后辞归。同治三年（1864），于湖北提督梁洪胜营充幕僚。是年乡试中举。次年中进士，授翰林院庶吉士，散馆授编修，累迁翰林院侍讲。光绪六年（1880）任国子监祭酒。复在国史馆、实录馆兼职，先后任云南、江西、浙江三省乡试正副考官。
光绪十一年（1885）督江苏学政，曾重修学署后花园，即“寄园”，搜集存雪亭诗碑重建碑廊，名曰“墨华榭”，并建“永慕庐”三间，供奉王先谦父母遗像，又建“虚受堂”为“朝夕读书游憩之所”，王先谦有《重修寄园记》一文记其事。任内多延通儒讲学江阴南菁书院，育才甚众，并踵阮元之后，在南菁书院开设书局，辑刻《皇清经解续编》，凡二百一十种，一千四百三十卷，其中很多是清代学者考订、训释的成果，从中可见清代经学之演变，并供研究中国古代历史和语言文字之参考。又仿姚鼐之例编《续古文辞类纂》，凡二十八卷，亦严谨有义法。王闿运尝谓曰：“《经解》纵未能抗行芸台，《类纂》差足以比肩惜抱。”此外还刻有《南菁书院丛书》、《清嘉集》、《江左制义辑存》等。其间，上疏请筹办东三省边防、罢三海工程、弹劾徐之铭、李莲英等，未果。
光绪十五年（1889），称病致仕，返乡闲居荷花池，在此修建别墅，取名葵园，亦以此为号，人称葵园先生。次年主讲于思贤讲舍，并设局刻书。十七年（1891）出任城南书院山长。二十年（1894）转任岳麓书院山长，主讲达十年之久，乃岳麓书院最后一任山长。
中日甲午战争后，维新运动在全国兴起，湖南一些士绅开始兴办近代工业。王先谦投资银1万两，与黄自元、陈文玮等集股，并拨借官款，于光绪二十二年（1896）创设宝善成机器制造公司，开湖南经济现代化之先声。未几，因亏损而转为官办，三年后停办，复另组大经丝鞭公司。
王先谦主张改学制，废科举。光绪二十三年（1897），改岳麓书院学制，另造屋两间，以经义、治事分门，仿西学式添设算学、译学。光绪二十四年（1898），其作《科举论》，谓八股时文已“决裂横溃，其体已不能自立”，倡议废科举取士，士人可“啬其精神，优其日力，多读有用之书”。未几，旧制复辟，仍云八股“体实已灭裂”，“章句所用，而庸庸者因之束书不观，人才消耗，半由于此”。
王先谦的政治思想徘徊于洋务和保守之间。戊戌变法期间，反对维新运动。光绪二十三年（1897）冬，湖南时务学堂成立，该学堂总理熊希龄聘梁启超、韩文举、唐才常等维新人士任教习。王先谦与绅士张祖同、叶德辉等阳为支持，阴图操纵。继因维新运动高涨，便攻击时务学堂总教习梁启超等“伤风败俗”，“志在谋逆”，“专以无父无君之邪说教人”，使学生“不复知忠孝节义为何事”；还指斥南学会和《湘报》宣传民权平等学说为“一切平等禽兽之行”，“背叛圣教，败灭伦常”；并提出《湘绅公呈》，呈请抚院对时务学堂严加整顿，驱逐熊希龄、唐才常及梁启超等维新人士；又致书陈宝箴，提出停刊《湘报》；另串通省内劣绅，鼓动岳麓、城南、求忠三书院部分学生，齐集省城学宫，商定所谓《湘省学约》，用以约束士人言行，对抗新思想传播。及至戊戌变法失败后，其门人苏舆编辑《翼教丛编》一书，集中攻诬变法维新，并颂扬王先谦能事先“洞烛其奸，摘发备至”。二十六年（1900）七月，唐才常等所领自立军起义失败，王先谦与叶德辉向巡抚俞廉三告密，搜捕杀害湖南维新人士以百计，被湖南人骂作“劣绅二麻”。
光绪二十九年（1903），学堂渐兴，王先谦仍主讲岳麓书院兼任湖南师范馆馆长。旋以“人心不靖”，“邪说朋兴，排满革命之谈充塞庠序”，遂不复至馆。同年，岳麓书院改为湖南高等学堂。
光绪三十年（1904），王先谦联合龙湛霖、冯锡仁、王之春等湘绅在长沙发起废除“美约”、收回粤汉铁路筑路权运动。
光绪三十四年（1908），王先谦所撰著述经巡抚岑春蓂呈送清廷，受到嘉奖，被聘为礼学馆顾问，赐内阁学士衔，任湖南咨议局筹办处会办。
宣统二年（1910）湖南灾荒，因叶德辉积谷万余石，激起长沙饥民抢米风潮，酿成惨案。王先谦以“梗议义粜”， 被湖广总督瑞瀓奏劾，奉旨“降五级调用”。
宣统三年（1911）武昌起义后，他改名遯，避居平江，闭门著书，，并罗致文人从事古籍和历史文献的编校刊印工作。三年后，乃还长沙。至民国六年（1917）病逝，享年76岁。
王先谦在学术上崇拜曾国藩，承袭曾“融合汉宋”的主张。他博览古今图籍，研究各朝典章制度，义理与考据并重，荟集群言，一生所著、编、校、注、辑、刊的各类书籍达50余种，共计3200多卷。除前述《皇清经解续编》、《续古文辞类纂》外，还著有《尚书孔传参正》、《诗三家义集疏》、《释名疏证补》、《汉书补注》、《水经注合笺》、《后汉书集解》、《荀子集解》、《庄子集解》、《十朝东华录》等。为文远追韩愈，又以桐城派阳湖派自许；其诗被称为“得杜之神，运苏之气”，“置之清代集中，挺然秀拔”。有《虚受堂文集》、《虚受堂诗存》、《葵园自订年谱》等。
王先谦学术成就最大的方面是史学。他治史的方法大体遵循乾嘉学风，注重校勘。其仿经疏体例注释旧史的代表作是《汉书补注》。该书旁采诸家之说，经多年穷究，使疑难不解之处得以通晓，因而至今仍受国内外史学界推崇。其他的注释著作《后汉书集解》、《新旧唐书合注》等也颇见功力，被后代史学史专家评为“王氏所作补注、集解诸作，都是校注书中标准的著作。”
《十朝东华录》是王先谦的又一部重要的史著。《东华录》本是清代的一种编年体史料长编，因国史馆在清富东华门内而得名，先有蒋良骥编成自努尔哈赤天命朝至雍正朝5朝《东华录》。王先谦任职翰林院和园子监时，嫌其过于简略，特详加增订，并加修了乾隆、嘉庆、道光3朝，后果增修咸丰、同治2朝，合称《十朝东华录》。该书取树广泛，不仅取自《清实录》，还广采《方略》、《会典》、《御制诗文》、《大臣列传》等，所以至今仍是研究清史的基本史料。
鸦片战争之后，随中西文化逐渐交流，中国学者开始著述外国史地，王先谦也顺应时代潮流，于光绪年间撰成《日本源流考》、《五洲地理志略》。《日本源流考》探讨日本的政事学术和治乱得失的本源，目的是欲使闭目塞听的中国能急起仿效。书中还用一定篇幅辑录明代戚继光、俞大猷等抗倭的资料，反映出作者的爱国之心。《五洲地理志略》是王先谦花四年时间辛勤编纂而成的，书中荟萃了古今中外的史地图籍，对欧美各主要国家作了较详细的介绍。一个原先遵循乾嘉旧规的学者，能睁眼看世界，辑成世界地理书籍，确实是难能可贵的。
作为一名学术大家，王先谦深知版本校辑的重要，他强调“欲博览遗书，尤以精研版本为重。”他独自校勘或邀人合作而成的《郡斋读书志》、《天禄琳琅书目前后编》、《魏书校勘记》、《盐铁论校本》等都受到版本目录学者的重视。其中《盐铁论校本》被郭沫若、杨树达著书时参考取材；他的《合校水经注》集乾嘉以来《水经注》研究之大成，为近百年来的独特通行之作。
王先谦是史学大师，又是经学大师，他曾花费半生心力，成《尚书孔伟参正》一书，书中探讨《尚书》原委，旁证历代诸儒训释；博采《史记》、《汉书》、《论衡》等材料，对伪托之处详加辨正。今文经学大师皮锡瑞评价它“兼疏今古文，说明精确，最为善本。”他并继乾嘉年间的大经学家阮元之后，博观慎取，解释和考订经书，集资汇刻了卷帙浩繁，于保存文献，发展学术非常有益的《续皇清经解》，因而清代著名文献学家刘锦藻评价：“维持文献之功，阮氏而后为推先谦矣。”他还撰有《诗三家义集疏》等经学著作，从而奠定了自己在近代经学史上的地位。
在语言文字学方面，王先谦也颇有造诣。东汉时刘熙曾作《释名》一书，以辞音求义，来推究事物名称的由来，清代毕沅又作《释名疏证》，对《释名》加以注释论证。对此，王先谦又特意撰写了《释名疏证补》，对毕沅此书再加补证。此书撷取江浙和湖湘学者精英，所校所释，颇为全面而有系统，后人认为它超过了毕沅的《释名疏证》，于训访、词汇、音韵学等方面，均有一定的贡献。
此外，王先谦一生所作诗文共有44卷，1190篇，蔚蔚大观。他文宗秦汉，效法韩愈，笔力遒劲，气魄雄浑，诗宗杜甫、苏拭，自成格调，是晚清一大家，与王闿运齐名，人称“二王”。
王先谦能在学术上取得这么大的成就并不是偶然的。他自幼苦读，锲而不舍，数十年来废寝忘食，孜孜于典籍之中，而且具有博采众长，严谨平实的作风。王先谦治学侧重古文经学，但不拘泥门户，兼采今文学源的观点，认为今古文经之争，“展转纷纭，徒形词费”。他辑印的《南著书院丛书》就被人称作“无乾嘉诸子标汉宋之帜，分门别户致辨之习气”。而《续皇清经解》、《尚书孔传参正》就又包含了许多今文经学的观点和材料。他在政治上与维新派势若水火，但却能称道梁启超的《新大陆游记》“颇有长进”，并在撰写《五洲地理志略》时多处述引。王先谦在撰述过程中继承了湖湘务实的传统学风，重求实，反臆断，凡遇暂时不明白的问题，并不武断曲解，总是以“存疑”的态度对待，或注明“无考”，'或注时“未知孰是”，“所当厥疑”。而对自己著述中的错误，一经发现就立即纠正。他曾刻印袁本《世说》，当经叶德辉提醒知道袁本“讹谬百出”时，便毅然毁版，请叶详加校勘后重镌。他还深刻地揭示中国学人普遍务虚图名的弊病说：“窃谓中国学人大病，在一空字。理学兴，则舍程、朱而趋陆、王，以程、乐务实也。汉学兴，则低汉而尊宋，以汉学若人也。新学兴，又斥西而守中，以西学尤繁重也。至如究心新学，能人所难，宜无病矣。然日本维新,从制造入，中国求新，从议论入。所务在名，所图在私。言满天下，而无实以继之，则亦仍然一空，终古罔济而已。”正由于王先谦痛恨空谈，因而自己坚持实事求是，严谦治学。他的这种学术态度不仅使自己成为一代宗师，而且启迪了众多岳麓书院士生，使他们深涉经史，旁及诸子，趋重实务，接受新学，使这千年学府再度焕发生气，因而无论是撰述，还是教育，王元谦都堪称大家。因此可见，当代学者李肖聃在《湘学略·葵园学略》中赞他“上笺辟经，下征国史，旁论文章，用逮谱子。四十余年，楚学生光。”这并非是过誉之辞，堪当确评。
王先谦曾说：“学者苦志身后之名，后来者当共惜之。”当代学者李肖聃在《湘学略·葵园学略》中赞他“上笺辟经，下征国史，旁论文章，用逮谱子。四十余年，楚学生光。”非是过誉之辞，堪当确评。在其教育生涯中，王先谦将教学与学术研究紧密结合起来，取得了巨大的学术成就，被誉为“长沙阁学，季清巨儒，著书满门，门庭广大”，“清末全面研治经史子集的一代宗师”。同时，他还注意了解国外情况，被人称为“通过博览群书走向世界的极为罕见的朴学大师”。
