面对采集器，有什么好方法防止或者屏蔽采集的吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3887 天前的主题，其中的信息可能已经有所发展或是发生改变。

行业是图站，单纯lnmp，负载应该没什么问题。上月50，60G日均，最近几天日流量又涨了几十个G，前4天日均85G，今天估计要逼近95G左右，日均uv比ip少个400左右
估计是被什么采集器盯上了，火车头，et，狂人这种怎么对付？
单纯靠log我感觉不现实，refer，ua都可以伪造，
分析ip工作量又感觉太大？

采集器

日均

6 条回复 • 2014-05-08 11:48:02 +08:00

manhere

2014-05-07 21:03:30 +08:00

防不了，只有图片打水印还能保留一丁点你的站点信息

lightforce

2014-05-07 21:06:19 +08:00

@manhere 图片水印，压缩这种我都做了，但还是被人采，郁闷

licell

2014-05-07 21:20:50 +08:00

只要是中文站，都避免不了这个问题

codingpp

2014-05-07 21:55:41 +08:00

还得是分析log中的ip吧，几秒钟访问超过限制就封掉
做抓取的表示一般大型网站都是这么屏蔽的

lightforce

2014-05-07 22:21:08 +08:00

@codingpp 图站要并发req的，我试过limit，影响体验我没加，现在就limit_conn,limit_rate

zhurongx

2014-05-08 11:48:02 +08:00

90%的情况下有效的方法：
把速度快，频率高，已经超出人类操作的频率的来源ip进行限制。监控ip访问流量、次数等特性的工具有很多。
剩余10%基本无解的方法：
好的爬虫会有一个ip池，会把请求分散在大量ip服务中转发，隐藏自己速度快频率高的特点，伪装成正常请求。这种情况下，除非你使用限制性逻辑，如积分满多少才可以打开，否则是无解的。