861 Open source projects that are alternatives of or similar to zhihu-crawler

Web Scraping Framework

爬取百度百科中文页面，抽取三元组信息，构建中文知识图谱

客户端爬虫安卓端demo

The Prime Cross Site Request Forgery (CSRF) Audit and Exploitation Toolkit.

疫情数据爬虫，2019新型冠状病毒数据仓库，轨迹数据，同乘数据，报道

💖 High available distributed ip proxy pool, powerd by Scrapy and Redis

Code to download web-images

Web 端反爬技术方案

owllook-小说搜索引擎

QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存

一些脚本和工具

大数据生态解决方案数据平台：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。

My Python Demo

Crawly, a high-level web crawling & scraping framework for Elixir.

该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。

QQZone mood spider and analysis. QQ空间多线程爬虫和数据挖掘。提供线上服务，扫码登陆即可自动爬取和分析数据，还有网易云年度报告风格的数据展示；使用docker-compose打包程序，方便部署；额外提供QQ空间抽奖小程序。

Python爬虫代理IP池(proxy pool)

📺 B 站全站视频信息爬虫

Sample project which utilises frameworkium-core, a framework for writing maintainable Selenium and REST API tests and facilitates reporting and integration to JIRA.

OSINT Swiss Army Knife

Crawl some picture for fun

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data

✨ 使用Node监视支付宝订单，即时通知服务器以实现免签约支付接口

👨‍🎓 中国大学MOOC全课件（视频、文档、附件）下载器

travian kingdoms automation (www.kingdoms.com)

招聘网数据爬虫

Your web font utility belt. It can subset web fonts. It can find unicode-ranges for you automatically. It makes julienne fries.

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

JS逆向研究

a reliable high-level web crawling & scraping framework for Node.js.

Bot for scheduling and entering google meet sessions automatically

Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion

PHP Link Checker

今日头条机器人，支持用户登陆、关注、取消关注、获取关注粉丝、发文、发悟空问答、点赞、评论、采集各种类型新闻讯息等，使用今日头条网页版API实现

爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本

逆向app的sign等参数的思路和体验, 安卓逆向, 安卓破解, 逆向app,爬虫解密

一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

妹子图

An asynchronous enumeration & vulnerability scanner. Run all the tools on all the hosts.

Beanbun 是用 PHP 编写的多进程网络爬虫框架，具有良好的开放性、高可扩展性，基于 Workerman。

🎊 Design and implement of lightweight crawler framework.

Automate the process of sending referral request and cold mailing on LinkedIn

Bittorrent dht network spider

A lite distributed Java spider framework :-)

🕷 A lightning fast multithreaded network scanner framework with modules.

⭐ 图虫网爬虫

geetest，滑动验证码

netease-music-spider is a sipder that you can find beautiful girlfriend or handsome boyfriend.

Web Scan Lazy Tools - Python Package

web scraping in parallel with Selenium Grid and Docker

这是一个用Python写的小说爬虫软件

admin ui for scrapy/open source scrapinghub

Golang爬虫 爬取汽车之家 二手车产品库

自学入门 Python 优质中文资源索引，包含 书籍 / 文档 / 视频，适用于 爬虫 / Web / 数据分析 / 机器学习 方向

A Laravel wrapper for CrawlerDetect - the web crawler detection library

🤖 微信订阅机器人 | 🐟 微信订阅机器人之闲鱼二手商品监控

Some toolkits implements part of BT Protocol, like DHT spider.

一个浏览器端数据爬虫，做每个人的数据助手

📝 quickly crawl the information (e.g. followers, tags etc...) of an instagram profile.