最近几天深入学习了一下scrapy框架，对scrapy整体流程有了一定了解，然后就想写爬虫获取数据，从单纯的技术角度来说，不论是否使用框架，遍历整个网站都不是特别难的事。

关于如何反爬虫的问题，始终想知道一个万全之策，可以顺利的把某一个网站爬取下来，lz反而觉在一个爬虫项目中，爬虫的基本解析技术可能仅仅占10%，而90%的策略/难度都用于反爬虫上了，所以别想知道，这一块，在生产环境中和个人开发者里边，反爬虫这一块(lz认为主要是ip问题)，一般是如何具体实现的

lz的目的不是爬几百个G的数据，用在商业上，没有那么大，就是出于兴趣，爬一个网站，比如知乎，能够顺利的爬个几十万数据就不错了，然后分析一下就够了。