|
不知道你有没有发觉搜索引擎越来越不好用了，主要体现在很多答案要么搜索不到，要么是需要点开很多链接。 我最近看到一篇关于这个问题的文章，了解了前因后果。 原因是各家信息平台将自己平台产生的信息保护起来。 大致是这样，搜索引擎搜索的结果，是来自于一种技术叫网络爬虫，爬虫去模拟人去访问各个网页，然后获取网页的信息。 既然爬虫是模拟人去访问网站，各个知名网站是怎么保护起来的呢？ 这就要来说爬虫访问的逻辑，爬虫在访问之前，会去读robots协议（网站可以自己定制），这个协议会规定哪些爬虫可以访问，哪些不可以访问。 当然爬虫也可以不遵守robots协议耍流氓，但是这就会面临法律风险，之前就有百度爬虫去爬大众点评的信息，结果被罚款。所以大家会遵守robots协议。 还有一个共识加剧了这种趋势，就是大家认为数据是有很大的价值，所以大家都会对自己平台的数据进行不遗余力的保护。 从这个让我想起一句话，合久必分，分久必合。 那么怎么办呢？ |
|
|
