如何应对网站反爬虫策略？如何高效地爬大量数据

一般有一下几种
一些常用的方法
IP代理
对于IP代理,各个语言的Native Request API都提供的IP代理响应的API, 需要解决的主要就是IP源的问题了.
网络上有廉价的代理IP(1元4000个左右), 我做过简单的测试, 100个IP中, 平均可用的在40-60左右, 访问延迟均在200以上.
网络有高质量的代理IP出售, 前提是你有渠道.
因为使用IP代理后, 延迟加大, 失败率提高, 所以可以将爬虫框架中将请求设计为异步, 将请求任务加入请求队列(RabbitMQ,Kafka,Redis), 调用成功后再进行回调处理, 失败则重新加入队列. 每次请求都从IP池中取IP, 如果请求失败则从IP池中删除该失效的IP.
Cookies
有一些网站是基于cookies做反爬虫, 这个基本上就是如 @朱添一 所说的, 维护一套Cookies池
注意研究下目标网站的cookies过期事件, 可以模拟浏览器, 定时生成cookies
限速访问
像开多线程,循环无休眠的的暴力爬取数据, 那真是分分钟被封IP的事, 限速访问实现起来也挺简单(用任务队列实现), 效率问题也不用担心, 一般结合IP代理已经可以很快地实现爬去目标内容.
一些坑
大批量爬取目标网站的内容后, 难免碰到红线触发对方的反爬虫机制. 所以适当的告警提示爬虫失效是很有必有的.
一般被反爬虫后, 请求返回的HttpCode为403的失败页面, 有些网站还会返回输入验证码(如豆瓣), 所以检测到403调用失败, 就发送报警, 可以结合一些监控框架, 如Metrics等, 设置短时间内, 告警到达一定阀值后, 给你发邮件,短信等.
当然, 单纯的检测403错误并不能解决所有情况. 有一些网站比较奇葩, 反爬虫后返回的页面仍然是200的(如去哪儿), 这时候往往爬虫任务会进入解析阶段, 解析失败是必然的. 应对这些办法, 也只能在解析失败的时候, 发送报警, 当告警短时间到达一定阀值, 再触发通知事件.
当然这个解决部分并不完美, 因为有时候, 因为网站结构改变, 而导致解析失败, 同样回触发告警. 而你并不能很简单地区分, 告警是由于哪个原因引起的.

请问谁知道现在搜狗反爬的机制。。。Python3

Cookie识别，删掉里面的SUNID（不断使用新Cookie）。
User-Agent，这个很常见，搜狗里面也有。
行为识别，爬虫通常都是遍历，有顺序。
上面几个再结合IP，所以你又需要使用代理了（换IP的意思）。

如何应对网站反爬虫策略？如何高效地爬大量数据

我的经验是，大量的相关文章+合理的站内链接+稳定的更新频率。
如何做好seo优化策略可参考如下方法：
在搜索引擎优化中，SEO策略影响到最终的优化效果。SEO策略不管对中小网站还是大型网站都是重要的，而对于大型网站，制定一个好的SEO策略尤为重要。
第一部分：关键词分析
关键词分析是所有SEO必须掌握的一门功课，大型网站虽然有海量的数据，但是每个页面都需要进行关键词分析，除了SEO之外，策划、编辑也需要具备一定的关键词分析能力。
关键词分析的基本原则：
1、 调查用户的搜索习惯：这是一个重要的方面，只有了解用户的搜索习惯，才能把我用户的搜索需求，用户喜欢搜索什么?用什么搜索引擎?等等
2、 关键词不能过于宽泛：关键词过于宽泛会导致竞争激烈，耗费大量时间却不一定得到想要的效果，并且可能降低了关键词的相关性。
3、 关键词不能过冷：想想，没有用户搜索的关键词，还值得去优化吗?
4、 关键词要与页面内容保持高度的相关性：这样既有利于优化又有利于用户。
关键词挑选的步骤：
1、 确定核心关键词：我们应该考虑的是哪一个词或者两个词能够最准确的描述网页的内容?哪一个词用户搜索次数最多?
2、 核心关键词定义上的扩展：例如核心关键词的别名、仅次于核心关键词的组合等、核心关键词的辅助等。
3、 模拟用户思维设计关键词：把自己假想为用户，那么我会去搜索什么关键词呢?
4、 研究竞争者的关键词：分析一下排名占有优势的竞争对手的网页，他们都使用了什么关键词?
第二部分：页面逆向优化
为什么要做逆向优化?因为在大型网站中，页面的优化价值一般不同于中小网站。考虑到各种综合因素(例如品牌、页面内容、用户体验等)，大型网站的页面优化价值大多数呈现逆向顺序，即：最终页>专题页>栏目页>频道页>首页。
如何针对各页面进行关键词分配呢?通常情况是这样的：
1、 最终页：针对长尾关键词;
2、 专题页：针对热门关键词，例如"周杰伦";
3、 栏目页：针对固定关键词，例如"音乐试听";
4、 频道页：针对核心关键词，例如 "音乐";
5、 首页：不分配关键词，而是以品牌为主。
在进行关键词分配后，我们可以在最终页中添加匹配的内链作为辅助，这是大型网站内链的优势。
第三部分：前端搜索引擎友好，包括UI设计的搜索友好和前端代码的搜索友好两点
1、首先来看UI设计的搜索引擎友好：主要是做到导航清晰，以及flash和图片等的使用，一般来说，导航以及带有关键词的部分不适合使用flash及图片，因为大多数搜索引擎无法抓取flash及图片中的文字。
2、然后是前端代码的搜索引擎友好：
a、代码的简洁性：搜索引擎喜欢简洁的html代码，这样更有利于分析。
b、重要信息靠前：指带关键词的及经常更新的信息尽量选择出现在html的靠前位置。
c、过滤干扰信息：大型网站的页面一般比较复杂，各种广告、合作、交换内容以及其他没有相关性的信息比较多，我们应该选择使用js、iframe等搜索引擎无法识别的代码过滤掉这一部分信息。
d、代码的基础SEO：这是基础的SEO工作，避免html错误以及语义化标签。
第四部分：内部链接策略
为什么要强调内部链接策略?因为内链具有以下优势：
1、 大型网站海量的数据使内链的优势远远大于外链。外链的数量可能几千几万几十万，但是大型网站拥有成百万上千万甚至上亿的海量网页内容，如果用这些海量的网页做内链的建设，优势是很明显的。
2、 网站内的网页间导出链接是一件很容易的事情。
3、 提高搜索引擎对网站的爬行索引效率，增强收录，也有利于PR的传递。
4、 集中主题，使该主题的关键词在搜索引擎中具有排名优势。
在内链建设中，应该遵循以下原则：1、控制文章内链数量：穿插于文章内的链接可以根据内容的多少控制在3-8个左右。2、链接对象的相关性要高。3、给重要的网页更多的关注：使重要的更有关键词价值的网页得到更好的排名。4、使用绝对路径。
第五部分：外部链接策略
在强调大型网站的内链建设的同时也不能太忽视了外链的建设。外链的建设虽然没有中小网站那么重要，但是也具有很高的价值。通常可以通过交换链接、制造链接诱饵、投放带链接的软文等方法来建设外链。
1、 来看交换链接应该要遵循哪些原则：
a、链接文字中包含关键词;b、尽量与相关性高的站点、频道交换链接;c、对方网站导出链接数量不能过多，过多的话没有太大的价值;d、避免与未被收录以及被搜索引擎惩罚的网站交换链接
2、 制造链接诱饵：制造链接诱饵是一件省力的工作，这使得对方网站主动的为我们添加链接。制造链接诱饵的技巧很多，但是可以用两个字来概括：创意。
3、 带链接的软文投放。指的是在商务推广或者为专门为了得到外链而进行的带链接的软文投放。
第六部分:网站地图策略
有很多大型网站不重视网站地图的建设，不少大型网站的网站地图只是敷衍了事，做一个摆设。其实网站对于大型网站是很重要的，大型网站海量的数据、复杂的网站导航结构、极快的更新频率使得搜索引擎并不能完全抓取所有的网页。这就是为什么有的大型网站拥有百万千万甚至上亿级的数据量，但是却只被搜索引擎收录了网站数据量的一半、三分之一甚至更少的一个重要原因。连收录都保证不了，怎么去做排名?
Html地图：
1、 为搜索引擎建立一个良好的导航结构。
2、 Html地图中可以分为横向和纵向导航，横向导航主要是频道、栏目、专题等链接，纵向导航主要是针对关键词。
3、 每个页面都有指向网站地图的链接。
Xml网站地图：主要针对Google、yahoo、live等搜索引擎。因为大型网站数据量太大，单个的sitemap会导致sitemap.xml文件太大，超过搜索引擎的容忍度。所以我们要将sitemap.xml拆分为数个，每个拆分后的sitemap.xml则保持在搜索引擎建议的范围内。
第七部分:搜索引擎友好写作策略
搜索引擎友好写作是创造海量数据对取得好的搜索引擎排名的很关键的一部分。而SEO人员不可能针对每个网页都提出SEO建议或者方案，所以对写作人员的培训尤为重要。如果所有写作人员都按照搜索引擎友好的原则去写作，则产生的效果是很恐怖的。
1、 对写作人员要进行反复培训：写作人员不是SEO，没有经验，不可能一遍就领悟SEO的写作技巧。所以要对写作人员进行反复的培训才能达到效果。
2、 创造内容先思考用户会去搜索什么，针对用户的搜索需求而写作。
3、 重视title、meta写作：例如Meta虽然在搜索引擎的权重已经很低，但是不好的meta写作例如堆积关键词、关键词与内容不相关等行为反而会产生负作用。而Title的权重较高，尽量在Title中融入关键词。
4、 内容与关键词的融合：在内容中要适当的融入关键词，使关键词出现在适当的位置，并保持适当的关键词密度。
5、 为关键词加入链接很重要：为相关关键词加入链接，或者为本网页出现的其他网页的关键词加入链接，可以很好的利用内链优势。
6、 为关键词使用语义化标签：
第八部分:日志分析与数据挖掘
日志分析与数据挖掘常常被我们所忽视，其实不管是大型网站还是中小网站，都是一件很有意义的工作。只是大型网站的日志分析和数据挖掘工作难度要更高一些，因为数据量实在太大，所以我们要具备足够的耐心来做该项工作，并且要有的放矢。
1、 网站日志分析：网站日志分析的的种类有很多，如访问来源、浏览器、客户端屏幕大小、入口、跳出率、PV等。跟SEO工作最相关的主要有以下三种：a、搜索引擎流量导入;b、搜索引擎关键词分析;c、用户搜索行为统计分析
2、 热点数据挖掘：我们可以通过自身的网站日志分析以及一些外在的工具和SEO自己对热点的把握能力来进行热点数据的挖掘。热点数据的挖掘主要有以下手段：a、把握行业热点，可以由编辑与SEO共同完成;b、预测潜在热点，对信息的敏感度要求较高，能够预测潜在的热门信息。c、自己创造热点，如炒作等;d、 为热点制作专题
第九部分:为关键词创作专题
除了最终页面，各种针对热门的关键词所制作的专题应该作为网站的第二大搜索引擎流量来源。我们在对热点数据进行挖掘后，就可以针对这些热门关键词制作专题了。制作的专题页的内容从何而来?我们一般通过程序实现对应关键词相关的信息进行筛选聚合，这样就使得内容与关键词高度匹配，为用户、为搜索引擎都提供了所需要的内容。
当然，仅仅建立一个专题而没有辅助手段是很难保证专题的搜索引擎排名的，我们可以通过文章内链、频道页推荐、或者最终页的专题推荐来获得链接达到效果。
1、为热点关键词制作专题
2、关键词相关信息的聚合
3、辅以文章内链导入链接

天猫爬虫,爬搜索结果页在本地没问题,部署在云服务器会被反爬了,请问这是什么情况?

天猫爬虫爬手术，结果爬反了，这是安装的时候反安了抖一下线就好了。