3312 Open source projects that are alternatives of or similar to Netdiscovery

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

稳健高效的评分制-针对性- IP代理池 + API服务，可以自己插入采集器进行代理IP的爬取，针对你的爬虫的一个或多个目标网站分别生成有效的IP代理数据库，支持MongoDB 4.0 使用 Python3.7（Scored IP proxy pool ,customise proxy data crawler can be added anytime）

Python爬虫代理IP池(proxy pool)

豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github登录、模拟图虫网登录、爬取多点商城整站数据、爬取微信公众号历史文章、爬取微信群或者微信好友分享的文章、itchat监听指定微信公众号分享的文章

🥄 A package for building specific Proxy Pool for different Sites.

[https://www.sofineday.com], golang项目开发脚手架,集成最佳实践(gin+gorm+go-redis+mongo+cors+jwt+json日志库zap(支持日志收集到kafka或mongo)+消息队列kafka+微信支付宝支付gopay+api加密+api反向代理+go modules依赖管理+headless爬虫chromedp+makefile+二进制压缩+livereload热加载)

💖 High available distributed ip proxy pool, powerd by Scrapy and Redis

Android Clean Architecture + MVP Sample written in Kotlin

爬蟲極簡教學（fetch, parse, search, multiprocessing, API）- PTT 為例

A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER）

No description or website provided.

🐛一只登录正方教务管理系统，爬取数据的小爬虫

Korio: Kotlin cORoutines I/O : Virtual File System + Async/Sync Streams + Async TCP Client/Server + WebSockets for Multiplatform Kotlin 1.3

磁力網站U3C3介紹以及域名更新

🌭💦 91porn爬虫在线无限制API接口（永久有效，口令每日更新） 及 在线web预览

.NET 5 / .NET Core 3.1 WebAPI + Vue 2.0 + RBAC 企业级前后端分离权限框架

基于Gradle构建，使用SpringBoot在各个场景的应用，包括集成消息中间件、前后端分离、数据库、缓存、分布式锁、分布式事务等

Zenko is the open source multi-cloud data controller: own and keep control of your data on any cloud.

微信公众号爬虫，公众号历史文章，文章评论，文章阅读及在看数据，可视化web页面，可部署于Windows服务器。基于Python3之flask/mysql/redis/mitmproxy/pywin32等实现，高效微信爬虫，微信公众号爬虫，历史文章，文章评论，数据更新。

快速、简洁且强大的PHP爬虫框架

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

Redis-based components for Scrapy.

dnc 去中心化 开源社区 轻联盟 dncto.com QQ群 779699538

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

Web tool for Kafka Connect |

一个轻量级、快速、多线程、多管道、灵活配置的网络爬虫。

🍰 一个可视化的爬虫平台

A fast tool to fetch URLs from HTML attributes by crawl-in.

🐤️ Lost Ark wait notifier

📰 A responsive interface of Hacker News with summaries and thumbnails.

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

🤖 Prerendering for JavaScript powered websites. Great solution for PWAs (Progressive Web Apps), SPAs (Single Page Applications), and other websites based on top of front-end JavaScript frameworks

知乎模拟登录，支持提取验证码和保存 Cookies

Every web site provides APIs.

今日头条机器人，支持用户登陆、关注、取消关注、获取关注粉丝、发文、发悟空问答、点赞、评论、采集各种类型新闻讯息等，使用今日头条网页版API实现

Surging is a micro-service engine that provides a lightweight, high-performance, modular RPC request pipeline. The service engine supports http, TCP, WS,Grpc, Thrift,Mqtt, UDP, and DNS protocols. It uses ZooKeeper and Consul as a registry, and integrates it. Hash, random, polling, Fair Polling as a load balancing algorithm, built-in service gove…

A non API python program to crawl public photos, posts or followers

Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion

A Facebook crawler

High performance crawler for Nodejs

各种App、小程序、网站的请求签名或加密算法。 现已有：自如、小红书、蛋壳公寓、luckin coffee(瑞幸咖啡)、bangkokair(曼谷航空)

C++ Parallel Computing and Asynchronous Networking Engine

The Prime Cross Site Request Forgery (CSRF) Audit and Exploitation Toolkit.

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

spring、spring-boot、spring-cloud 常用整合用例

OSINT Swiss Army Knife

🔐 Middleware for keeping track of users, login states and permissions

SpringBoot框架源码实战（已更新到springboot2版本实现）~基本用法，Rest，Controller，事件监听，连接数据库MySQL，jpa，redis集成，mybatis集成（声明式与xml两种方式~对应的添删查改功能），日志处理，devtools配置，拦截器用法，资源配置读取，测试集成，Web层实现请求映射，security安全验证，rabbitMq集成，kafka集成，分布式id生成器等。项目实战：https://github.com/hemin1003/yfax-parent 已投入生产线上使用

全栈工程师手册

Test your code without writing mocks with ephemeral Docker containers 📦 Setup popular services with just a couple lines of code ⏱️ No bash, no yaml, only code 💻

🎉🎉🎉JAVA高级架构师技术栈==任何技能通过 “刻意练习” 都可以达到融会贯通的境界，就像烹饪一样，这里有一份JAVA开发技术手册，只需要增加自己练习的次数。🏃🏃🏃

Html网页正文提取

Container auto-configurations for spring-boot based integration tests

大数据生态解决方案数据平台：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。

PHP的服务化框架。适用于Api、Http Server、Rpc Server；帮助原生PHP项目转向微服务化。出色的性能与支持高并发的协程相结合

带你了解一下Golang的市场行情

Python的基础练习代码与各种爬虫代码

A collection of awesome web crawler,spider in different languages