480 Open source projects that are alternatives of or similar to Dingdian

Carson Sievert's web applications

Yet Another Web Spider

抖音 SDK，数据采集，爬虫抓取不是梦

GUI of AlipayOrdersSupervisor, implemented in Java and Swing

Testing Using Python Demo. 使用Python测试脚本demo。

Text (source code) search engine with indexer and a front end web interface to search. Uses Python 3.

Adds GraphQL support to your Flask application.

lots of spider (很多爬虫）

Nodejs实现的一个磁力链接爬虫 http://findit.keenwon.com (原域名http://findit.so )

🕷some website spider application base on proxy pool (support http & websocket)

知乎爬虫程序，定时跟踪问题数据，定时推送热门话题

自学入门 Python 优质中文资源索引，包含 书籍 / 文档 / 视频，适用于 爬虫 / Web / 数据分析 / 机器学习 方向

The Resources for "Natural Language to Logical Form" ; "自然语言转逻辑形式"研究资料收集。

a facebook messenger bot that allows users to chat with other people on facebook anonymously

Pokr [ˈpō-kər] - Politics in Korea (Out of service since Dec 2018)

capture pictures from website like sina, lofter, huaban and so on

Async Python 3.6+ web scraping micro-framework based on asyncio

Download images from Google, Bing, Baidu. 谷歌、百度、必应图片下载.

Unmaintained 🐳 ☕️ 🕷 Scala crawler(spider) framework, inspired by scrapy, created by @gaocegege

IotShark - Monitoring and Analyzing IoT Traffic

经济责任审计知识图谱：网络爬虫、关系抽取、领域词汇判定

小说精品屋-plus是一个多端（PC、WAP）阅读、功能完善的原创文学CMS系统，由前台门户系统、作家后台管理系统、平台后台管理系统、爬虫管理系统等多个子系统构成，支持多模版、会员充值、订阅模式、新闻发布和实时统计报表等功能，新书自动入库，老书自动更新。

A web crawler (for bug hunting) that gathers more than you can imagine.

Beanbun 是用 PHP 编写的多进程网络爬虫框架，具有良好的开放性、高可扩展性，基于 Workerman。

Plug-and-Play VPN router and unblocker

简简单单spider

🤖 微信订阅机器人 | 🐟 微信订阅机器人之闲鱼二手商品监控

蓝天采集器是一款免费的数据采集发布爬虫软件，采用php+mysql开发，可部署在云服务器，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统

Repository for Docker Image of Apache-Superset. [Docker Image: https://hub.docker.com/r/abhioncbr/docker-superset]

BaiduSpider，一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

Geziyor, a fast web crawling & scraping framework for Go. Supports JS rendering.

整合第三方网站的视频和弹幕资源, 为白嫖党提供最佳看番追剧体验

a puppeteer walker 🕷 🕸

抖音API、抖音数据、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

Dependency injection framework for Python

一个简单的分布式爬虫框架

基于Flask Web的中文自动语音识别演示系统,包含语音识别、语音合成、声纹识别之说话人识别。

🕷招聘网站爬虫合集，不定期更新分支

Some classic web crawler projects.一些经典的爬虫

🤖 A spider and server for Luoo.qy

python crawler spider

Golang爬虫 爬取豆瓣电影Top250

AlipaySpider on Scrapy(use chrome driver); 支付宝爬虫(基于Scrapy)

GOPA, a spider written in Go.（NOTE: this project moved to https://github.com/infinitbyte/gopa ）

Powerful web scraping framework for Crystal

A Blog Cms Website backed by MySQL in Flask&Python

Cross Platform C# Web crawler framework, headless browser, parallel crawler. Please star this project! +1.

template for a rest app with flask, flask-rest and more...

Python多线程下载 草榴(t66y.com) 网站【新時代的我們】和【達蓋爾的旗幟】两个板块帖子内的图片

爬取北大法宝网http://www.pkulaw.cn/Case/

Your web font utility belt. It can subset web fonts. It can find unicode-ranges for you automatically. It makes julienne fries.

知乎用户公开个人信息爬虫, 能够爬取用户关注关系，基于Python、使用代理、多线程

Golang爬虫 爬取汽车之家 二手车产品库

🕷 CrawlerDetect is a PHP class for detecting bots/crawlers/spiders via the user agent

Simple, clear and fast Web Crawler framework build on python3.6+, powered by asyncio.

B站用户爬虫 好耶~是爬虫

滑动验证码，希望对你们有所帮助❤️

又一个 java 内容（pa）获取（chong）工具

日常小脚本，懒人欢乐多。

爬取CSDN上的博客文章