GitPlanet

Cheap and reliable Node.js hosting starts at $3/month, and $1/month static HTML hosting

Created with love in Canada, visit hostnodejs.com today

Feel like to post an Ad? Learn Details
All Projects → wangqifan → Proxypool

wangqifan / Proxypool

自建代理池

ProxyPool

应用场景

爬虫过于频繁的抓取网站信息会被反爬虫机制屏蔽掉，或者有些网站对我们的Ip有限制，一个IP之能操作一次，这个时候就需要设置代理了。这方面需求还是很大的，有专门的服务商提供代理，没钱的自己动手打造一个代理池吧。应用实例：知乎爬虫

所用的工具

     * Redis的C#驱动-ServiceStack.Redis
     * Html解析-HtmlAgilityPack
     * 任务调度-Quartz.NET

基本思路

  部分网站上有免费的代理IP信息，比如xicidaili.com，proxy360.cn。这些网站有很多免费代理IP，然而有些质量不好，需要程序及时从代理池中删掉质量低的代理，不断加入优质代理。

原理图

image

备注

思路来自知乎
博客地址
我的知乎爬虫

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].