|
能把数据库搬回家吗？ 现在2TB的硬盘也是千元以下，把几TB的数据库搬回家，对于机构或是个人来说应该是不愁没地方放了的。但最头疼的还是如何下载的问题。没有哪些数据库能够提供对拷的，做镜像那些大机构才能干的事。记得原来与陕师大汉籍数字图书馆系统的客服聊过，一直不敢把汉籍库在公网放出全文，就是担心被别人给批量下走。但是一些以提供全文做服务的数据库，就不能因噎废食的。 有的人担心批量下载被封IP，但动态的IP是很难被封死。而且在淘宝上买那几块钱的一个账号，被封了也没甚事。虽然避开服务器检测批量下载有多种办法，服务端检测批量下载也有各多办法，但总是难以阻止这个批量下载的。批量下载主要看它的危害程度，如果只是下载部分搜索结果，那倒无关痛庠，但如果是把整个库给拿下了，那可是糟糕透了。 知网的中国博士学位论文全文数据库跟硕士库一样，要进入到详细页面才能找到全文开载的链接。把中国知网论文批量下载工具稍改改，就能下这两个库的全文了。以前没提供有此功能，是不想把那工具做得太完善。什么PDF下载，什么断点续传，什么可选择下载，错误检测，无账号下载这些功能，都不打算支持。但感觉不能下载硕士库的文章总有些遗憾。今天花了点小时间，做了一个针对中国博士学位为全文下载的版本，只需要查询出想要的结果，分析几步，就可以让这小家伙慢慢的下载了。别小看这小东西，多在几处运行，就成“蚂蚁搬家”了。它们能自动分析目录结果，抓取论文元数据，重新按格式生成想要的XML文档。这些论文元数据可用于别的管理系统，到时不仅把论文给下载回来，还能够为自己做数据库系统提供主要的数据，再做个查询系统，就算是在家里，也能像在搜知网库那样找出自己想要的文章了。不用连网，不用求人帮下载，不用找帐户，这些资料就在自己身边，不在云端。 
|
|
|
