394 Open source projects that are alternatives of or similar to Wereader

A high performance web crawler in Elixir.

一个php爬虫

😊😊😊 知乎问题爬虫

计算机基础知识，数据结构，设计模式，Tomcat中间件的实现

哔哩哔哩的API调用模块

ICP备案查询，可查询企业或域名的ICP备案信息，自动完成滑动验证，保存结果到Excel表格，适用于2022年新版的工信部备案管理系统网站，告别频繁拖动验证，以及某站*工具要开通VIP才可查看备案信息的坑

🕷招聘网站爬虫合集，不定期更新分支

研究学习各种拦截：反爬虫、拦截ad、防广告注入、斗黄牛等

The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns

🧊 一个可爱且任性的 B 站视频下载器（bilili V2）

多线程知乎用户爬虫，基于python3

一些脚本和工具

A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.

正方教务管理系统学生版的自动登录、选课、信息获取

A web crawler (for bug hunting) that gathers more than you can imagine.

动漫之家漫画站电脑版原图爬虫

A multi-thread crawler framework with many builtin image crawlers provided.

A bash script to spider a site, follow links, and fetch urls (with built-in filtering) into a generated text file.

A collection of awesome web scaper, crawler.

No description or website provided.

豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github登录、模拟图虫网登录、爬取多点商城整站数据、爬取微信公众号历史文章、爬取微信群或者微信好友分享的文章、itchat监听指定微信公众号分享的文章

客户端爬虫安卓端demo

日常小脚本，懒人欢乐多。

爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本

A Burp Suite Extension that try to find all sub-domain, similar-domain and related-domain of an organization automatically! 基于流量自动收集整个企业或组织的子域名、相似域名、相关域名的burp插件

日常爬虫

📖 爬取 Stackoverflow 100万 条问答并简单分析

图片爬取下载工具，极速爬取下载 站酷https://www.zcool.com.cn/, CNU 视觉 http://www.cnu.cc/ 设计师/用户 上传的 图片/照片/插画。

Free Web Scraping Tool with Java

python 爬虫(amazon, confluence ...)

The Resources for "Natural Language to Logical Form" ; "自然语言转逻辑形式"研究资料收集。

这可能是爬百度文库最全的项目了

NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。

这是一个用Python写的小说爬虫软件

😩Tool For Taobao/Tmall| 儿时玩具已经过时

蜘蛛纸牌 for mac

A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER）

Your web font utility belt. It can subset web fonts. It can find unicode-ranges for you automatically. It makes julienne fries.

一个简单的分布式爬虫框架

妹子图

爬取百度百科中文页面，抽取三元组信息，构建中文知识图谱

⭐ 图虫网爬虫

[Crawler/Scraper for Golang]🕷A lightweight distributed friendly Golang crawler framework.一个轻量的分布式友好的 Golang 爬虫框架。

gathertool是golang脚本化开发库，目的是提高对应场景程序开发的效率；轻量级爬虫库，接口测试&压力测试库，DB操作库等。

The Prime Cross Site Request Forgery (CSRF) Audit and Exploitation Toolkit.

基于Electron爬虫程序

🤖 A spider and server for Luoo.qy

Grapy, a fast high-level web crawling framework for Python 3.3 or later base on asyncio.

💖 High available distributed ip proxy pool, powerd by Scrapy and Redis

爬虫工程师常用的 Chrome 插件 | Chrome extensions used by crawler developer

All Terrain Autonomous Quadruped

Web 端反爬技术方案

Elegant Scraper and Crawler Framework for Golang

🕷️ The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。

🍿爬虫代理IP池(proxy pool) python🍟一个还ok的IP代理池

My Python Script

JS逆向研究

爬取微信公众号文章

Incredibly fast crawler designed for OSINT.

新浪微博，微信，知乎，头条爬虫，支持新浪登录打码获取cookie实现登录