762 Open source projects that are alternatives of or similar to scrapy_helper

Nodejs实现的一个磁力链接爬虫 http://findit.keenwon.com (原域名http://findit.so )

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

抖音API、抖音数据、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

QQ空间爬虫，可导出并显示日志、相册、留言板、说说、照片、视频等数据。

download document from book118 for free

小说精品屋-plus是一个多端（PC、WAP）阅读、功能完善的原创文学CMS系统，由前台门户系统、作家后台管理系统、平台后台管理系统、爬虫管理系统等多个子系统构成，支持多模版、会员充值、订阅模式、新闻发布和实时统计报表等功能，新书自动入库，老书自动更新。

✨ 使用Node监视支付宝订单，即时通知服务器以实现免签约支付接口

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

JS逆向研究

一个基于Glang语言开发的站群系统（蜘蛛池系统）

Testing Using Python Demo. 使用Python测试脚本demo。

一些爬虫开发的技巧和案例

🌇 🌃 Create dynamic wallpapers for macOS.

Beanbun 是用 PHP 编写的多进程网络爬虫框架，具有良好的开放性、高可扩展性，基于 Workerman。

虎扑网相册下载工具

PHP Link Checker

自学入门 Python 优质中文资源索引，包含 书籍 / 文档 / 视频，适用于 爬虫 / Web / 数据分析 / 机器学习 方向

Music Spider. Go 👾 Music Spider 是使用Golang写的音乐聚合爬虫，目前支持的站点包括 网易、QQ、虾米、酷狗、百度。

Web crawler.

Some toolkits implements part of BT Protocol, like DHT spider.

各种App、小程序、网站的请求签名或加密算法。 现已有：自如、小红书、蛋壳公寓、luckin coffee(瑞幸咖啡)、bangkokair(曼谷航空)

No description or website provided.

一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

爬取QQ用户信息（qq号、昵称、生日、地址等基本信息）并做简要analysis。

Last-Statement-of-Death-Row, 人之将死，其言也善

爬取北大法宝网http://www.pkulaw.cn/Case/

Python爬虫，返回一定格式的信息，下载，使用flask提供简易api。抖音无水印、皮皮虾、快手、网易云音乐、qq音乐、咪咕音乐、荔枝FM音频、知乎视频、最右语音、视频、微博......

Get movie info from douban(豆瓣) and display in your terminal

网易云爬虫解决方案

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

🔞 JAVClub - 让你的大姐姐不再走丢

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

又一个 java 内容（pa）获取（chong）工具

Kindle Book Maker with KindleGen, Make Book from RSS/single URL/directory and so on.

根据腾讯安全应急响应中心的架构编写的一款超强爬虫（广度优先搜索）

Bilibili.com视频批量下载工具包

a reliable high-level web crawling & scraping framework for Node.js.

🌟 powered by python3( simple learning of spider) 百度文库；网易云歌曲； 豆瓣电影； GitHub； 京东； QQ空间； 天气； vip解析助手； TED文本内容； wifi破解脚本； 必应图片设置为桌面等爬取

A lite distributed Java spider framework :-)

BaiduSpider，一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

AV 电影管理系统， avmoo , javbus , javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database

Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion

银行、支行名称。中国各地区各银行支行名称数据爬虫，数据来源微信商户平台，已经整理可直接导入的sql文件

💐 Full Amazon Automatic Download

新浪爬虫，基于Python+Selenium。模拟登陆后保存cookie，实现登录状态的保存。可以通过输入关键词来爬取到关键词相关的热门微博。

netease-music-spider is a sipder that you can find beautiful girlfriend or handsome boyfriend.

微博话题关键词,个人微博采集, 微博博文一键删除 selenium获取cookie,requests处理

My Python Script

🕷招聘网站爬虫合集，不定期更新分支

快速、简洁且强大的PHP爬虫框架

今日头条机器人，支持用户登陆、关注、取消关注、获取关注粉丝、发文、发悟空问答、点赞、评论、采集各种类型新闻讯息等，使用今日头条网页版API实现

🌭💦 91porn爬虫在线无限制API接口（永久有效，口令每日更新） 及 在线web预览

逆向app的sign等参数的思路和体验, 安卓逆向, 安卓破解, 逆向app,爬虫解密

🕷️用于爬取B站前top100的小视频

A scrapy middleware to use rotated proxy ip list.

Dynamic Laravel Livewire Bootstrap modals.

项目已经移动至：https://github.com/BaiduSpider/BaiduSpider ！！ 一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

A simple distributed crawler for zhihu && data analysis