436 Open source projects that are alternatives of or similar to fetchurls

超高速异步协程Python爬虫

👨‍🎓 中国大学MOOC全课件（视频、文档、附件）下载器

dynamic crawler for web vulnerability scanner

文章采集工具 Article collection tool

京东口罩库存监控爬虫(非selenium)，扫码登录、查价、加购、下单、秒杀

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音|TikTok数据爬取工具，支持API调用，在线批量解析及下载。

LSpider 一个为被动扫描器定制的前端爬虫

This taobao spider has been archived

BitTorrent DHT Protocol && DHT Spider.

这是一个用Python写的小说爬虫软件

基于python语言开发的千万级别搜索引擎

Grapy, a fast high-level web crawling framework for Python 3.3 or later base on asyncio.

一个功能全面的微信读书爬虫 wereader

利用墨墨背单词的分享功能拿每日20个的单词上限奖励（多线程

JavaScript + BeautifulSoup = JSSoup

Find endpoints on GitHub.

JS逆向研究

portia-dashboard is a visual web crawler based on scrapinghub/portia

基于nodejs的网络聊天室、爬虫，vue音乐播放器，及php后台开发的管理系统等项目

稳健高效的评分制-针对性- IP代理池 + API服务，可以自己插入采集器进行代理IP的爬取，针对你的爬虫的一个或多个目标网站分别生成有效的IP代理数据库，支持MongoDB 4.0 使用 Python3.7（Scored IP proxy pool ,customise proxy data crawler can be added anytime）

Golang module to detect bots and crawlers via the user agent

[Crawler/Scraper for Golang]🕷A lightweight distributed friendly Golang crawler framework.一个轻量的分布式友好的 Golang 爬虫框架。

Crawling GitHub Trending Pages every day

抓取豆瓣，bilibili等中的电视剧、电影、动漫演员等信息

Regular expression matching for URL's. Maintained, safe, and browser-friendly version of url-regex. Resolves CVE-2020-7661 for Node.js servers.

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

🕷️用于爬取B站前top100的小视频

A simple distributed crawler for zhihu && data analysis

No description or website provided.

python 爬虫(amazon, confluence ...)

妹子图

A spider tapestry weaver

PHP Link Checker

HTML Development Tool Link-常用的在线字符串编解码、代码压缩、美化、JSON格式化、正则表达式、时间转换工具、二维码生成与解码等工具，支持在线搜索和Chrome插件。

📖 爬取 Stackoverflow 100万 条问答并简单分析

该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。

🥄 A package for building specific Proxy Pool for different Sites.

犇犇爬虫

Generate an object for testing if a request is sent, request is Mikeal's request.

Web crawling framework based on asyncio.

scala结合actor编写的分布式网络爬虫

使用Python3爬取煎蛋妹纸图片

Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data

ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个

scrapy spider for scraping imdb {movie_id: [recommended, ...]}

一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫。(兴趣使然的项目，用的不爽了就更新)

some small project and some articles

Cross Platform C# web crawler framework built for speed and flexibility. Please star this project! +1.

零基础学习python爬虫

一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

A spider on Dcard. Strong and speedy.

一个简单的基于DHT协议的BT磁力链接爬虫

Free proxy server, continuously crawling and providing proxies, based on Tornado and Scrapy. 免费代理服务器，基于Tornado和Scrapy，在本地搭建属于自己的代理池

😊😊😊 知乎问题爬虫

爬虫集合

A lite distributed Java spider framework :-)

A collection of awesome web scaper, crawler.

Like curl, or wget, but downloads directly go to a SQLite databse

⭐ 图虫网爬虫

Google search results crawler, get google search results that you need