436 Open source projects that are alternatives of or similar to fetchurls

Wget-AT is a modern Wget with Lua hooks, Zstandard (+dictionary) WARC compression and URL-agnostic deduplication.

gathertool是golang脚本化开发库，目的是提高对应场景程序开发的效率；轻量级爬虫库，接口测试&压力测试库，DB操作库等。

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

⚡ Light weight Golang spider framework | 轻量的 Golang 爬虫框架

一个简单的分布式爬虫框架

Bitextor generates translation memories from multilingual websites.

A Facebook crawler

Python爬虫代理IP池(proxy pool)

免费 IP 代理池。Scrapy 爬虫框架插件

The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns

geetest，滑动验证码

[DEPRECATED] Simple, flexible, delightful web crawler/spider package

爬虫工程师常用的 Chrome 插件 | Chrome extensions used by crawler developer

小说精品屋-plus是一个多端（PC、WAP）阅读、功能完善的原创文学CMS系统，由前台门户系统、作家后台管理系统、平台后台管理系统、爬虫管理系统等多个子系统构成，支持多模版、会员充值、订阅模式、新闻发布和实时统计报表等功能，新书自动入库，老书自动更新。

滑动验证码，希望对你们有所帮助❤️

知乎模拟登录，支持提取验证码和保存 Cookies

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

Lightweight library for scalable crawlers in Go.

bet365 bot: bet365的比赛实时比分数据、实时赔率

基于Electron爬虫程序

(UNMAINTAINED) Fetch data of any public Instagram profile, without using api

日常爬虫

[Deprecated - Maintenance mode - use APIs directly please!] The official Diffbot client library

A spiders' program for weixin which made by Express & cheerio

Find endpoints on GitHub.

这可能是爬百度文库最全的项目了

A web crawler for Go

Iota is a web scraper which can find all of the images and links/suburls on a webpage

文章采集工具 Article collection tool

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音|TikTok数据爬取工具，支持API调用，在线批量解析及下载。

This taobao spider has been archived

这是一个用Python写的小说爬虫软件

Grapy, a fast high-level web crawling framework for Python 3.3 or later base on asyncio.

利用墨墨背单词的分享功能拿每日20个的单词上限奖励（多线程

Dynamic configurable crawl (动态可配置化爬虫)

基于nodejs的网络聊天室、爬虫，vue音乐播放器，及php后台开发的管理系统等项目

Golang module to detect bots and crawlers via the user agent

Crawling GitHub Trending Pages every day

Regular expression matching for URL's. Maintained, safe, and browser-friendly version of url-regex. Resolves CVE-2020-7661 for Node.js servers.

No description or website provided.

🕷️用于爬取B站前top100的小视频

客户端爬虫安卓端demo

图片爬取下载工具，极速爬取下载 站酷https://www.zcool.com.cn/, CNU 视觉 http://www.cnu.cc/ 设计师/用户 上传的 图片/照片/插画。

蜘蛛纸牌 for mac

裁判文书网爬虫

HTML Development Tool Link-常用的在线字符串编解码、代码压缩、美化、JSON格式化、正则表达式、时间转换工具、二维码生成与解码等工具，支持在线搜索和Chrome插件。

该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。

资讯爬虫App

犇犇爬虫

Generate an object for testing if a request is sent, request is Mikeal's request.

Your web font utility belt. It can subset web fonts. It can find unicode-ranges for you automatically. It makes julienne fries.

项目已经移动至：https://github.com/BaiduSpider/BaiduSpider ！！ 一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

scala结合actor编写的分布式网络爬虫

Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data

超高速异步协程Python爬虫

scrapy spider for scraping imdb {movie_id: [recommended, ...]}

some small project and some articles

python 爬虫(amazon, confluence ...)

妹子图