爬虫代理如何做优化
爬虫,优化 分类:最新资讯 作者:太阳HTTP运营管理团队

1、注意很多网站,可以先用代理ip+ua(ua库随机提取)访问,之后会返回来一个cookie,那ip+ua+cookie就是一一对应的,然后用这个ip、ua和cookie去采集网站,这样效果会比较好

2、有些网站反爬取的措施应该比较强的。访问之后每次清除缓存,这样能有效规避部分网站的检测;但是有些网站更严格的判断,如果都是新链接从ip发出,也会被判定拒绝(直接403拒绝访问),因此有些爬虫客户会去分析网站的cookies缓存内容,然后进行修改。

3、浏览器的标识(User-Agent)也很重要,用户都是一种浏览器,也是容易判断作弊,要构造不同的浏览器标识,否则容易被判定爬虫。https://httpbin.org/headers,用代理访问之后,浏览器标识需要修改,建议浏览器用phantomjs框架,这个可以模拟其他浏览器的标示(需要标示库的话,亿牛云可以提供1000+),可以通过API接口实现各种浏览器的采集模拟。

4、信息类网站(58、企查查、工商),这类网站主要靠信息提供商业服务,所以反爬措施很严格,非账号(匿名)采集务必生成正确的cookie和ua,同时限制好频率。建议通过账号登陆来进行采集,这样可以提高采集效率。

5、通过流量统计和日志分析,如果发现单个IP访问、单个session访问、User-Agent信息超出设定的正常频度阈值


客户经理
835658804 18115265829
在线咨询

售后客服

在线售后,实时响应

太阳大客户经理

15305445551
微信客服
免费套餐
客户定制
专属客户经理
2890289832
15963368937

微信二维码

大客户
专属客户经理
1214413489
17696587966

微信二维码

公众号

关注公众号

意见反馈
置顶