得到网页的最新更新时间

zhengyun_ustc 发表于2007年3月29日 23:09:10  IP:举 报回复删除

Incremental Web Search-Tracking Changes in the Web.pdf
这篇论文不知你看过没有？也许有启发。

zhengyun_ustc 发表于2007年3月29日 23:10:53  IP:举 报回复删除

其实获取http header最简单的就是用perl，几句话就搞定：
use LWP::UserAgent;
my $ua = new LWP::UserAgent;
$ua->timeout(120);
my $url='http://blog.donews.com/banly/';
my $response = $ua->head($url);
if ($response->is_success) {
print $response->as_string."----";
}

zhengyun_ustc 发表于2007年3月29日 23:14:11  IP:举 报回复删除

1:
你只给对方web服务器发送head命令，对方就不会给你网页所有数据，而仅仅是http header信息，很短。很多爬虫就是这么做的，不占用太多流量，就可以知道对方网页有否更新。
2:
100%得知对方更新是不可能的。