Top 8 spiders open source projects

模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式，有的网站直接登录难度很大，比如qq空间，bilibili等如果采用selenium就相对轻松一些。

Cross Platform C# web crawler framework built for speed and flexibility. Please star this project! +1.

使用Pyspider框架的豆瓣爬虫

scrapy 常用爬网必备工具包

some small project and some articles

🤖 robots.txt as a service. Crawls robots.txt files, downloads and parses them to check rules through an API

对免费代理IP网站进行爬取，收集汇总为自己的代理池。关键是验证代理的有效性、匿名性、去重复

项目已经移动至：https://github.com/BaiduSpider/BaiduSpider ！！ 一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。