桐庐历史悠久，人文荟萃。深厚的文化积淀，重要的区域地理位置，良好的自然生态环境，多姿多彩的山水风光，历来是形胜之地。桐庐也是通过河道联系浙东、浙西、浙北、苏南、皖南、赣东的商埠。富春江上钓台的突兀山势、湍急水域、幽静的环境更为吸引人。因此，严子陵不事王侯隐居此地，也必然是一个最好的选择。尽管在宋以前，已有众多名人雅士在途经钓台时，上山朝拜严子陵先生，但真正的知名度还是在宋范仲淹修复钓台严子陵祠堂，并写下了千古传诵佳作《严先生祠堂记》之后。
过去一直认为严先生祠堂是北宋景佑元年(1034)谪守睦州的范仲淹始建。今年，我县学者申屠丹荣先生认为，严子陵钓台在唐朝就有祭祀严子陵先生的祠堂。 《全唐诗》（康熙四十二年1703年修纂，曹寅主编）所载的唐睿宗（710-712）侍御史洪子游严子陵钓台后写的《严子陵祠》中，就有“幽径滋芜没，荒祠幂霜霰”的诗句。在《湘山野录》一书中，还记载有“范正公谪睦州。路过严陵祠下，适逢吴俗岁祀里巫神迎”的句子，说明范仲淹是在修复严子陵祠，而不是初建。
笔者最近翻阅了一些严氏家谱，也可以看到严子陵钓台，在范仲淹修祠前，并非严光一家隐居此地，而是已经形成了一个封建宗族的聚居地。桐庐、淳安、建德、遂昌和江西等地的一些严氏后裔的家谱，都有在北宋前从钓台移居的记载。余姚严氏家谱记载：“严子陵辞帝而钓睦州桐江之浒，后代孙本府君，至宋才复迁原邑……”严子陵在家谱的《子陵公自序》中说到，刘秀当上皇帝之时，他已经隐居富春山。汪乔年（曾总督三边军务）《严氏迁遂始祖序》中说到，许多浙江、江西的严氏，是桐江严子陵的后裔。《严氏家谱》原修家谱旧序中明确地说： “子陵先生，出匡汉室，归钓富春，子孙绳绳繁衍，不替迨后。我祖伯祥公于李唐天宝年间，聚谋避兵携母弟瑗与子要来自富春”。这是说严氏的一些派系是从唐天宝年间桐江严子陵所传，因此在钓台设立维系宗族关系的祠堂实属可能。现在引起争论的是范仲淹为什么要在《严先生祠堂记》中用“始构堂而奠”的句子。从《汉语大辞典》可以查到这个“始”字，可以理解为开始；也可以理解为“当初”或“谋合”。
范仲淹《严先生祠堂记》，既赞颂了严光的风节，又赞美了富春山水，实际上也是范仲淹本人的言行写照。
严子陵钓台自宋景佑中期960年前范仲淹修建之后，历史上最大一次是1983年的第17次修建。现在严先生祠堂里的严子陵塑像是当代著名的中国美术学院雕塑系教授宋仁德作品。祠内的“客星”“钓台”书法都是明弘治十年薛敬之的拓片。一个不事王侯的严子陵的儒家思想和范仲淹刚正不阿的一代名士千古流芳。今天，在严子陵钓台建立退庵金先生屏铭碑，又是把中韩的文化交流推向一个新的起点。
