744 Open source projects that are alternatives of or similar to Zhihu Crawler

APIs for loginning some websites by using requests.

多线程知乎用户爬虫，基于python3

知乎模拟登录，支持提取验证码和保存 Cookies

Free Web Scraping Tool with Java

基于 Selenium 的知乎关键词爬虫

Gospider - Fast web spider written in Go

磁力網站U3C3介紹以及域名更新

Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索

Dark Web OSINT Tool

A high performance web crawler in Elixir.

A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.

知乎爬虫程序，定时跟踪问题数据，定时推送热门话题

直接通过链家 API 抓取数据的极速爬虫，宇宙最快~~ 🚀

Continuous scalable web crawler built on top of Flink and crawler-commons

徒手实现定时爬取知乎，从中发掘有价值的信息，并可视化爬取的数据作网页展示。

API of DouYin for Humans used to Crawl Popular Videos and Musics

A fast tool to fetch URLs from HTML attributes by crawl-in.

The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns

High performance crawler for Nodejs

🌭💦 91porn爬虫在线无限制API接口（永久有效，口令每日更新） 及 在线web预览

今日头条机器人，支持用户登陆、关注、取消关注、获取关注粉丝、发文、发悟空问答、点赞、评论、采集各种类型新闻讯息等，使用今日头条网页版API实现

Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion

a reliable high-level web crawling & scraping framework for Node.js.

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

🐾 Creeper - The Next Generation Crawler Framework (Go)

带你了解一下Golang的市场行情

优雅地玩知乎

Google search results crawler, get google search results that you need

Html网页正文提取

Crawly, a high-level web crawling & scraping framework for Elixir.

A simple and flexible web crawler framework for java.

搜索你的知乎收藏：可以直观地浏览你的所有收藏夹的内容，并进行全文搜索

一个超级轻量的百度图片爬虫

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

🐛一只登录正方教务管理系统，爬取数据的小爬虫

一个轻量级、快速、多线程、多管道、灵活配置的网络爬虫。

NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。

🍰 一个可视化的爬虫平台

📰 A responsive interface of Hacker News with summaries and thumbnails.

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER）

A Laravel wrapper for CrawlerDetect - the web crawler detection library

A collection of awesome web crawler,spider in different languages

Every web site provides APIs.

快速、简洁且强大的PHP爬虫框架

微信公众号爬虫，公众号历史文章，文章评论，文章阅读及在看数据，可视化web页面，可部署于Windows服务器。基于Python3之flask/mysql/redis/mitmproxy/pywin32等实现，高效微信爬虫，微信公众号爬虫，历史文章，文章评论，数据更新。

A Facebook crawler

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

The Prime Cross Site Request Forgery (CSRF) Audit and Exploitation Toolkit.

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

OSINT Swiss Army Knife

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

💖 High available distributed ip proxy pool, powerd by Scrapy and Redis

各种App、小程序、网站的请求签名或加密算法。 现已有：自如、小红书、蛋壳公寓、luckin coffee(瑞幸咖啡)、bangkokair(曼谷航空)

京东口罩库存监控爬虫(非selenium)，扫码登录、查价、加购、下单、秒杀

dynamic crawler for web vulnerability scanner

爬蟲極簡教學（fetch, parse, search, multiprocessing, API）- PTT 為例

Python爬虫，返回一定格式的信息，下载，使用flask提供简易api。抖音无水印、皮皮虾、快手、网易云音乐、qq音乐、咪咕音乐、荔枝FM音频、知乎视频、最右语音、视频、微博......

Python的基础练习代码与各种爬虫代码

A multi-thread crawler framework with many builtin image crawlers provided.