468 Open source projects that are alternatives of or similar to dht-spider

磁力链接聚合搜索

Python3 DHT 磁力种子爬虫 种子解析 种子搜索 演示地址

DHT磁力链接magnet BT搜索引擎，纯Python开发

Some toolkits implements part of BT Protocol, like DHT spider.

BitTorrent DHT Protocol && DHT Spider.

Bittorrent dht network spider

Nodejs实现的一个磁力链接爬虫 http://findit.keenwon.com (原域名http://findit.so )

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

基于python语言开发的千万级别搜索引擎

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

🥄 A package for building specific Proxy Pool for different Sites.

抓取豆瓣，bilibili等中的电视剧、电影、动漫演员等信息

💐Marmot | Web Crawler/HTTP protocol Download Package 🐭

A simple distributed crawler for zhihu && data analysis

admin ui for scrapy/open source scrapinghub

📖 爬取 Stackoverflow 100万 条问答并简单分析

一个功能全面的微信读书爬虫 wereader

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

dynamic crawler for web vulnerability scanner

JavaScript + BeautifulSoup = JSSoup

Web crawling framework based on asyncio.

使用Python3爬取煎蛋妹纸图片

多线程知乎用户爬虫，基于python3

ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个

一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫。(兴趣使然的项目，用的不爽了就更新)

Web app for Scrapyd cluster management, Scrapy log analysis & visualization, Auto packaging, Timer tasks, Monitor & Alert, and Mobile UI. DEMO 👉

Bilibili.com视频批量下载工具包

招聘网数据爬虫

京东口罩库存监控爬虫(非selenium)，扫码登录、查价、加购、下单、秒杀

portia-dashboard is a visual web crawler based on scrapinghub/portia

Cross Platform C# web crawler framework built for speed and flexibility. Please star this project! +1.

My Python Script

Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Django and Vue.js

Web Scraping Framework

🔞 JAVClub - 让你的大姐姐不再走丢

疫情数据爬虫，2019新型冠状病毒数据仓库，轨迹数据，同乘数据，报道

小说精品屋是一个多平台（web、安卓app、微信小程序）、功能完善的屏幕自适应小说漫画连载系统，包含精品小说专区、轻小说专区和漫画专区。包括小说/漫画分类、小说/漫画搜索、小说/漫画排行、完本小说/漫画、小说/漫画评分、小说/漫画在线阅读、小说/漫画书架、小说/漫画阅读记录、小说下载、小说弹幕、小说/漫画自动采集/更新/纠错、小说内容自动分享到微博、邮件自动推广、链接自动推送到百度搜索引擎等功能。

owllook-小说搜索引擎

A Laravel wrapper for CrawlerDetect - the web crawler detection library

My Python Demo

Elegant Scraper and Crawler Framework for Golang

Python爬虫代理IP池(proxy pool)

Google search results crawler, get google search results that you need

Crawl some picture for fun

🕷️ The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。

👨‍🎓 中国大学MOOC全课件（视频、文档、附件）下载器

sync playlist between music platform

JS逆向研究

A fast and powerfull dashboard (admin) finder

PHP Link Checker

A Penetration Testing Framework, Information gathering tool & Website Vulnerability Scanner

一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

🍿爬虫代理IP池(proxy pool) python🍟一个还ok的IP代理池

Free proxy server, continuously crawling and providing proxies, based on Tornado and Scrapy. 免费代理服务器，基于Tornado和Scrapy，在本地搭建属于自己的代理池

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

Web crawler.

稳健高效的评分制-针对性- IP代理池 + API服务，可以自己插入采集器进行代理IP的爬取，针对你的爬虫的一个或多个目标网站分别生成有效的IP代理数据库，支持MongoDB 4.0 使用 Python3.7（Scored IP proxy pool ,customise proxy data crawler can be added anytime）

😊😊😊 知乎问题爬虫

A lite distributed Java spider framework :-)