462 Open source projects that are alternatives of or similar to Dht

微博超级话题爬虫，微博词频统计+情感分析+简单分类，新增肺炎超话爬取数据

抓取豆瓣，bilibili等中的电视剧、电影、动漫演员等信息

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

Web crawling framework based on asyncio.

一个简单的dht爬虫，用于搜集infohash

多线程知乎用户爬虫，基于python3

备份豆瓣计划

使用Python3爬取煎蛋妹纸图片

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

dht is used by anacrolix/torrent, and is intended for use as a library in other projects both torrent related and otherwise

拼多多爬虫，爬取所有商品、评论等信息

👨‍🎓 中国大学MOOC全课件（视频、文档、附件）下载器

获取免费socks/https/http代理的网站集合

一个功能全面的微信读书爬虫 wereader

APIs for loginning some websites by using requests.

JS逆向研究

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

Python爬虫和Flask实现小说网站

PHP Link Checker

Your internet-wide general-purpose DHT to store key/value pairs

portia-dashboard is a visual web crawler based on scrapinghub/portia

滑动验证码，希望对你们有所帮助❤️

一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

Unmaintained 🐳 ☕️ 🕷 Scala crawler(spider) framework, inspired by scrapy, created by @gaocegege

My Python Script

又一个 java 内容（pa）获取（chong）工具

Free proxy server, continuously crawling and providing proxies, based on Tornado and Scrapy. 免费代理服务器，基于Tornado和Scrapy，在本地搭建属于自己的代理池

Technitium Bit Chat, a secure, peer-to-peer, instant messenger!

基于python语言开发的千万级别搜索引擎

lots of spider (很多爬虫）

😊😊😊 知乎问题爬虫

🕷 CrawlerDetect is a PHP class for detecting bots/crawlers/spiders via the user agent

Web Scraping Framework

蓝天采集器是一款免费的数据采集发布爬虫软件，采用php+mysql开发，可部署在云服务器，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统

A collection of awesome web scaper, crawler.

整合第三方网站的视频和弹幕资源, 为白嫖党提供最佳看番追剧体验

稳健高效的评分制-针对性- IP代理池 + API服务，可以自己插入采集器进行代理IP的爬取，针对你的爬虫的一个或多个目标网站分别生成有效的IP代理数据库，支持MongoDB 4.0 使用 Python3.7（Scored IP proxy pool ,customise proxy data crawler can be added anytime）

基于Java、JavaFX开发的下载工具，支持下载协议：BT（BitTorrent、磁力链接、种子文件）、HLS（M3U8）、FTP、HTTP。人家才不要你的⭐⭐呢，哼

😩Tool For Taobao/Tmall| 儿时玩具已经过时

一个简单的分布式爬虫框架

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

🤖 A spider and server for Luoo.qy

All Terrain Autonomous Quadruped

GOPA, a spider written in Go.（NOTE: this project moved to https://github.com/infinitbyte/gopa ）

JavaScript + BeautifulSoup = JSSoup

🕷some website spider application base on proxy pool (support http & websocket)

🌟⏳🌟 各种网站的签到（停止维护）

Simple, clear and fast Web Crawler framework build on python3.6+, powered by asyncio.

📖 爬取 Stackoverflow 100万 条问答并简单分析

简简单单spider

😱Full Automatic Amazon Distributed Spider | 亚马逊分布式四国际站采集选款产品|账号admin,密码adminadmin

A distributed self-host DHT torrent search suite

[Crawler/Scraper for Golang]🕷A lightweight distributed friendly Golang crawler framework.一个轻量的分布式友好的 Golang 爬虫框架。

Geziyor, a fast web crawling & scraping framework for Go. Supports JS rendering.

🥄 A package for building specific Proxy Pool for different Sites.

爬虫所需要的IP代理，抓取九个网站的代理IP检测/清洗/入库/更新，添加调用接口

B站3亿用户信息爬虫（mid号，昵称，性别，关注，粉丝，等级）

Kademlia DHT K-bucket implementation as a binary tree

Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Django and Vue.js