527 Open source projects that are alternatives of or similar to Python3Webcrawler

音乐全网搜索

京东口罩库存监控爬虫(非selenium)，扫码登录、查价、加购、下单、秒杀

用于 Asp.Net 和 Asp.Net Core 的OAuth2社交身份验证提供程序。支持支付宝，QQ，微信，百度等第三方登录

Gorecon is a All in one Reconnaissance Tool , a.k.a swiss knife for Reconnaissance , A tool that every pentester/bughunter might wanna consider into their arsenal

an amqp connection pool implementation

Universal scrapping tool, which allows you to extract data using multiple environments

💬 A Simple, Safe Comment System

Scrapes all photos and videos in a web page / Instagram / Twitter / Tumblr / Reddit / pixiv / TikTok

音视频网站解析脚本

Elegant Scraper and Crawler Framework for Golang

No description or website provided.

JavaScript + BeautifulSoup = JSSoup

Golang 实现的 IP 代理池, 涉及到的技术点: go gorm proxy proxypool ip crawler 爬虫 mysql viper cobra

🕷️ The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。

🐤 小程序API兼容插件，一次编写，多端运行。支持：微信小程序、支付宝小程序、百度智能小程序、字节跳动小程序

以Node.js基于express以及爬虫实现的视频资源后端

A MXNet implementation of Baidu's DeepSpeech architecture

对免费代理IP网站进行爬取，收集汇总为自己的代理池。关键是验证代理的有效性、匿名性、去重复

🕷️ A node crawler for github trending.

🎵 基于 React 的QQ音乐 mac 客户端播放器（PC） Online Music Player（qqmusic）

🌏UNOFFICIAL Translation Baidu Net Disk for Windows, Android to Russian🇷🇺,English🇬🇧 languages 📌

A Kotlin-based testing/scraping/parsing library providing the ability to analyze and extract data from HTML (server & client-side rendered). It places particular emphasis on ease of use and a high level of readability by providing an intuitive DSL. It aims to be a testing lib, but can also be used to scrape websites in a convenient fashion.

Crawl some picture for fun

百度 莱茨狗 php 抓取,提交,增加99%识别率API

Get (almost) original messages from google group archives. Your data is yours.

a terminal-translate tool

Easy to use lightweight web crawler（易用的轻量化网络爬虫）

百度地图接口调用 golang 版。支持GEO、地址双向获取，IP获取地址。Baidu Map for golang.

💐Marmot | Web Crawler/HTTP protocol Download Package 🐭

项目已经移动至：https://github.com/BaiduSpider/BaiduSpider ！！ 一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

基于 Selenium 的知乎关键词爬虫

qqmusic，简洁版qq音乐

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

A Powerful Spider(Web Crawler) System in Python.

Collection of China illegal cases about web crawler 本项目用来整理所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。致力于帮助在中国大陆工作的爬虫行业从业者了解我国相关法律，避免触碰数据合规红线。 [AD]中文知识图谱门户

整合图片识别api,用于以图搜源(以图搜图，以图搜番)，支持SauceNAO,tracemoe,iqdb,ascii2d,google(谷歌识图),baidu(百度识图),E-Hentai,ExHentai识图

Crawl instagram photos, posts and videos for download.

Google search results crawler, get google search results that you need

用 node.js 爬你自己的 leetcode 解题源码

新闻网页正文通用抽取器 Beta 版.

直接通过链家 API 抓取数据的极速爬虫，宇宙最快~~ 🚀

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

仿百度网盘，个人云盘。 file cloud

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

Web crawling framework based on asyncio.

在Discord上显示网抑云/QQ音乐. Enables Discord Rich Presence For Netease Cloud Music/Tencent QQ Music.

Script that generates a sitemap by crawling a given URL

抖音爬虫，tiktok crawler，抖音数据采集接口，抖音视频去水印，百分百成功，不需要服务器，不需要代理 IP。

Bitextor generates translation memories from multilingual websites.

QMC2 (mflac/mgg) 文件解密。

Dynamic file detection tool based on crawler 基于爬虫的动态敏感文件探测工具

ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个

Polite, slim and concurrent web crawler.

本仓库收集整理爬虫相关资源，开发语言以Java为主

Alternative for VK Audio API

JS逆向研究

luna cloud tools

JAVA实现的IP代理池，支持HTTP与HTTPS两种方式

👾 Fast and simple video download library and CLI tool written in Go

一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫。(兴趣使然的项目，用的不爽了就更新)