1089 Open source projects that are alternatives of or similar to Zhihu Login

APIs for loginning some websites by using requests.

[DEPRECATED] Simple, flexible, delightful web crawler/spider package

多线程知乎用户爬虫，基于python3

zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目

A Facebook crawler

Python爬虫代理IP池(proxy pool)

The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

💐Marmot | Web Crawler/HTTP protocol Download Package 🐭

🍿爬虫代理IP池(proxy pool) python🍟一个还ok的IP代理池

爬蟲極簡教學（fetch, parse, search, multiprocessing, API）- PTT 為例

疫情数据爬虫，2019新型冠状病毒数据仓库，轨迹数据，同乘数据，报道

A simple distributed crawler for zhihu && data analysis

稳健高效的评分制-针对性- IP代理池 + API服务，可以自己插入采集器进行代理IP的爬取，针对你的爬虫的一个或多个目标网站分别生成有效的IP代理数据库，支持MongoDB 4.0 使用 Python3.7（Scored IP proxy pool ,customise proxy data crawler can be added anytime）

[Crawler/Scraper for Golang]🕷A lightweight distributed friendly Golang crawler framework.一个轻量的分布式友好的 Golang 爬虫框架。

dynamic crawler for web vulnerability scanner

Every web site provides APIs.

A Laravel wrapper for CrawlerDetect - the web crawler detection library

Google search results crawler, get google search results that you need

JavaScript + BeautifulSoup = JSSoup

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

Python爬虫，返回一定格式的信息，下载，使用flask提供简易api。抖音无水印、皮皮虾、快手、网易云音乐、qq音乐、咪咕音乐、荔枝FM音频、知乎视频、最右语音、视频、微博......

模拟登录一些知名的网站，为了方便爬取需要登录的网站

基于 Selenium 的知乎关键词爬虫

腾讯新闻、知乎话题、微博粉丝，Tumblr爬虫、斗鱼弹幕、妹子图爬虫、分布式设计等

⚡ Light weight Golang spider framework | 轻量的 Golang 爬虫框架

微信公众号爬虫，公众号历史文章，文章评论，文章阅读及在看数据，可视化web页面，可部署于Windows服务器。基于Python3之flask/mysql/redis/mitmproxy/pywin32等实现，高效微信爬虫，微信公众号爬虫，历史文章，文章评论，数据更新。

🥄 A package for building specific Proxy Pool for different Sites.

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

Get (almost) original messages from google group archives. Your data is yours.

🕷️ The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。

A bash script to spider a site, follow links, and fetch urls (with built-in filtering) into a generated text file.

京东口罩库存监控爬虫(非selenium)，扫码登录、查价、加购、下单、秒杀

Web crawler.

📰 A responsive interface of Hacker News with summaries and thumbnails.

Elegant Scraper and Crawler Framework for Golang

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

直接通过链家 API 抓取数据的极速爬虫，宇宙最快~~ 🚀

Python入门网络爬虫之精华版

Web crawling framework based on asyncio.

爬虫工程师常用的 Chrome 插件 | Chrome extensions used by crawler developer

徒手实现定时爬取知乎，从中发掘有价值的信息，并可视化爬取的数据作网页展示。

免费 IP 代理池。Scrapy 爬虫框架插件

知乎爬虫程序，定时跟踪问题数据，定时推送热门话题

优雅地玩知乎

User authentication for web servers

gathertool是golang脚本化开发库，目的是提高对应场景程序开发的效率；轻量级爬虫库，接口测试&压力测试库，DB操作库等。

Wget-AT is a modern Wget with Lua hooks, Zstandard (+dictionary) WARC compression and URL-agnostic deduplication.

A simple and flexible web crawler framework for java.

geetest，滑动验证码

磁力網站U3C3介紹以及域名更新

High performance crawler for Nodejs

C# library for the collection of browser information such as cookies, logins, and more

Continuous scalable web crawler built on top of Flink and crawler-commons

🍰 一个可视化的爬虫平台

🐛一只登录正方教务管理系统，爬取数据的小爬虫

Bitextor generates translation memories from multilingual websites.

Crawl some picture for fun