但是当网路爬虫被滥用后，网际网路上就出现太多同质的东西，原创得不到保护。

于是，很多网站开始反网路爬虫,想方设法保护自己的内容。

他们根据ip访问频率，浏览网页速度，账户登录，输入验证码，flash封装，ajax混淆，js加密，图片，css混淆等五花八门的技术，来对反网路爬虫。

防的一方不惜工本，迫使抓的一方在考虑成本效益后放弃

抓的一方不惜工本，防的一方在考虑用户流失后放弃

参考： 美国高级情报官员透露,美国国家安全局前雇员斯诺登仅仅是利用普通的网路爬虫软体(Webcrawler),从国安局网路里面截取大量的机密档案与资料.

反网路爬虫:越来越成为一种新的行业