409 Open source projects that are alternatives of or similar to jobSpider

👨‍🎓 中国大学MOOC全课件（视频、文档、附件）下载器

Crawly, a high-level web crawling & scraping framework for Elixir.

NScrapy is a .net core corss platform Distributed Spider Framework which provide an easy way to write your own Spider

QQZone mood spider and analysis. QQ空间多线程爬虫和数据挖掘。提供线上服务，扫码登陆即可自动爬取和分析数据，还有网易云年度报告风格的数据展示；使用docker-compose打包程序，方便部署；额外提供QQ空间抽奖小程序。

JS逆向研究

📺 B 站全站视频信息爬虫

⭐ 图虫网爬虫

OSINT Swiss Army Knife

PHP Link Checker

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

这其实是一份学习笔记。包括学习记录、爬虫练习平台（网站）、自制工具脚本

✨ 使用Node监视支付宝订单，即时通知服务器以实现免签约支付接口

一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

各种App、小程序、网站的请求签名或加密算法。 现已有：自如、小红书、蛋壳公寓、luckin coffee(瑞幸咖啡)、bangkokair(曼谷航空)

gathertool是golang脚本化开发库，目的是提高对应场景程序开发的效率；轻量级爬虫库，接口测试&压力测试库，DB操作库等。

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

a reliable high-level web crawling & scraping framework for Node.js.

ICP备案查询，可查询企业或域名的ICP备案信息，自动完成滑动验证，保存结果到Excel表格，适用于2022年新版的工信部备案管理系统网站，告别频繁拖动验证，以及某站*工具要开通VIP才可查看备案信息的坑

Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion

A lite distributed Java spider framework :-)

今日头条机器人，支持用户登陆、关注、取消关注、获取关注粉丝、发文、发悟空问答、点赞、评论、采集各种类型新闻讯息等，使用今日头条网页版API实现

基于Electron爬虫程序

逆向app的sign等参数的思路和体验, 安卓逆向, 安卓破解, 逆向app,爬虫解密

netease-music-spider is a sipder that you can find beautiful girlfriend or handsome boyfriend.

知乎模拟登录，支持提取验证码和保存 Cookies

免费 IP 代理池。Scrapy 爬虫框架插件

An asynchronous enumeration & vulnerability scanner. Run all the tools on all the hosts.

一个浏览器端数据爬虫，做每个人的数据助手

🎊 Design and implement of lightweight crawler framework.

Grapy, a fast high-level web crawling framework for Python 3.3 or later base on asyncio.

Bittorrent dht network spider

中国大陆大学列表爬虫

🕷 A lightning fast multithreaded network scanner framework with modules.

robots.txt file parsing and checking for R

geetest，滑动验证码

😱Full Automatic Amazon Distributed Spider | 亚马逊分布式四国际站采集选款产品|账号admin,密码adminadmin

Web Scan Lazy Tools - Python Package

爬虫工程师常用的 Chrome 插件 | Chrome extensions used by crawler developer

A golang utility to spider through a website searching for additional links.

爬虫所需要的IP代理，抓取九个网站的代理IP检测/清洗/入库/更新，添加调用接口

📰 A responsive interface of Hacker News with summaries and thumbnails.

Get Aliexpress product details in JSON

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

MM131网站图片爬取 🚨

磁力網站U3C3介紹以及域名更新

基于nodejs的网络聊天室、爬虫，vue音乐播放器，及php后台开发的管理系统等项目

大众点评爬虫、API，可以进行单独城市、单独地区、单独商铺的爬取、搜索、多类型地区搜索、信息获取、提供MongoDB数据库存储支持，可以进行点评文本解密的爬取、存储

一个完整的nodeJs 串行爬虫 抓取3万多个页面。

百度贴吧爬虫(基于scrapy和mysql)

徒手实现定时爬取知乎，从中发掘有价值的信息，并可视化爬取的数据作网页展示。

all kinds of scrapy demo

有道词典网页爬虫

No description or website provided.

项目已经过时！无法应用在改版后的网站上。

Engine for ML/Data tracking, visualization, dashboards, and model UI for Polyaxon.

btplotting provides plotting for backtests, optimization results and live data from backtrader.

Golang module to detect bots and crawlers via the user agent

JavaScript + BeautifulSoup = JSSoup

微信公众号文章的爬虫