394 Open source projects that are alternatives of or similar to Awesome Spider

NetCloud Web Spider

Get Aliexpress product details in JSON

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

千万级图片爬虫、视频爬虫 [开源版本] Image Spider

A configurable web spider with a easy-to-use web console

中国明星数据爬取。你甚至可以拿到互联网上所有的人之间的关系，接下来你可以自己发挥！基于这些数据，你可以完成更多有趣的事情。比如说社交网络分析，关系网络可视化，算法研究，和其他有意思的事情。Chinese star data crawling. You can even get all the people on the internet! Based on these data, you can do more interesting things. For example, social network analysis, relational network visualization, algorithm research, and other interesting things.

备份豆瓣计划

Simple for use node html crawler (spider) of site web pages

A Python based web application scanner to gather OSINT and fuzz for OWASP vulnerabilities on a target website.

🎊 Design and implement of lightweight crawler framework.

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

Wget-AT is a modern Wget with Lua hooks, Zstandard (+dictionary) WARC compression and URL-agnostic deduplication.

Pholcus is a distributed high-concurrency crawler software written in pure golang

😚 Q & A website based on Spring Boot.

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

A web spider framework

A python3 package for writing spider more easily.

golang spider Crawler 爬虫 电影

📖 爬取 Stackoverflow 100万 条问答并简单分析

Spider项目将会不断更新本人学习使用过的爬虫方法！！！

Scraping scripts for various websites.

一个php爬虫

拼多多爬虫，爬取所有商品、评论等信息

计算机基础知识，数据结构，设计模式，Tomcat中间件的实现

百度云网盘搜索引擎，包含爬虫 & 网站

ICP备案查询，可查询企业或域名的ICP备案信息，自动完成滑动验证，保存结果到Excel表格，适用于2022年新版的工信部备案管理系统网站，告别频繁拖动验证，以及某站*工具要开通VIP才可查看备案信息的坑

一个功能全面的微信读书爬虫 wereader

研究学习各种拦截：反爬虫、拦截ad、防广告注入、斗黄牛等

zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目

🧊 一个可爱且任性的 B 站视频下载器（bilili V2）

获取免费socks/https/http代理的网站集合

一些脚本和工具

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）

正方教务管理系统学生版的自动登录、选课、信息获取

🥄 A package for building specific Proxy Pool for different Sites.

动漫之家漫画站电脑版原图爬虫

Gospider - Fast web spider written in Go

A bash script to spider a site, follow links, and fetch urls (with built-in filtering) into a generated text file.

用爬虫爬取小说网站上所有小说，存储到数据库中，并用爬到的数据构建自己的小说网站

No description or website provided.

A high performance web crawler in Elixir.

客户端爬虫安卓端demo

dynamic crawler for web vulnerability scanner

爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本

哔哩哔哩的API调用模块

日常爬虫

房价预测完整项目：1.爬取链家网数据 2.处理后，用sklearn中几个逻辑回归机器学习模型和keras神经网络搭建模型预测房价 最终结果神经网络效果更好，R^2值0.75左右

图片爬取下载工具，极速爬取下载 站酷https://www.zcool.com.cn/, CNU 视觉 http://www.cnu.cc/ 设计师/用户 上传的 图片/照片/插画。

The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns

python 爬虫(amazon, confluence ...)

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.

Google search results crawler, get google search results that you need

🔞 JAVClub - 让你的大姐姐不再走丢

招聘网数据爬虫

Bilibili.com视频批量下载工具包

Web app for Scrapyd cluster management, Scrapy log analysis & visualization, Auto packaging, Timer tasks, Monitor & Alert, and Mobile UI. DEMO 👉

一个浏览器端数据爬虫，做每个人的数据助手

Powerful web scraping framework for Crystal

DHT磁力链接magnet BT搜索引擎，纯Python开发