438 Open source projects that are alternatives of or similar to Tumblr_spider

🕷 A lightning fast multithreaded network scanner framework with modules.

📰 A responsive interface of Hacker News with summaries and thumbnails.

今日头条机器人，支持用户登陆、关注、取消关注、获取关注粉丝、发文、发悟空问答、点赞、评论、采集各种类型新闻讯息等，使用今日头条网页版API实现

爬取网易云音乐所有歌曲的评论数

This is a Multi-thread crawler for Tumblr.

a reliable high-level web crawling & scraping framework for Node.js.

Web Scan Lazy Tools - Python Package

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

磁力網站U3C3介紹以及域名更新

知乎模拟登录，支持提取验证码和保存 Cookies

🔎 前程无忧 Python 招聘岗位信息爬取和分析

图书馆书蜗App自动化脚本（抢坐 & 续借）

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

Every web site provides APIs.

OSINT Swiss Army Knife

geetest，滑动验证码

Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion

A golang utility to spider through a website searching for additional links.

QQZone mood spider and analysis. QQ空间多线程爬虫和数据挖掘。提供线上服务，扫码登陆即可自动爬取和分析数据，还有网易云年度报告风格的数据展示；使用docker-compose打包程序，方便部署；额外提供QQ空间抽奖小程序。

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

逆向app的sign等参数的思路和体验, 安卓逆向, 安卓破解, 逆向app,爬虫解密

大众点评爬虫、API，可以进行单独城市、单独地区、单独商铺的爬取、搜索、多类型地区搜索、信息获取、提供MongoDB数据库存储支持，可以进行点评文本解密的爬取、存储

✨ 使用Node监视支付宝订单，即时通知服务器以实现免签约支付接口

DHT磁力链接magnet BT搜索引擎，纯Python开发

Social media scraping / data collection library for Facebook, Twitter, Reddit, YouTube, Pinterest, and Tumblr APIs

⚡️ A true bare bones Tumblr theme for a quick jump-start

中国银行外汇牌价爬虫 / API (Bank of China - Foreign Exchange - Spider/ API)

Python爬虫，返回一定格式的信息，下载，使用flask提供简易api。抖音无水印、皮皮虾、快手、网易云音乐、qq音乐、咪咕音乐、荔枝FM音频、知乎视频、最右语音、视频、微博......

🎊 Design and implement of lightweight crawler framework.

✨ 知乎日报 - 爬虫、数据分析、Node.js、Vue.js ...

Bittorrent dht network spider

Kindle Book Maker with KindleGen, Make Book from RSS/single URL/directory and so on.

Command-line program to download image galleries and collections from several image hosting sites

Html网页正文提取

Nodejs demo

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

微信公众号爬虫，公众号历史文章，文章评论，文章阅读及在看数据，可视化web页面，可部署于Windows服务器。基于Python3之flask/mysql/redis/mitmproxy/pywin32等实现，高效微信爬虫，微信公众号爬虫，历史文章，文章评论，数据更新。

跨平台的京东全能工具包 仅供学习使用，技术交流群：108934299

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

快速、简洁且强大的PHP爬虫框架

爬蟲極簡教學（fetch, parse, search, multiprocessing, API）- PTT 為例

Python的基础练习代码与各种爬虫代码

A set of spiders and scrapers to extract location information from places that post their location on the internet.

🌭💦 91porn爬虫在线无限制API接口（永久有效，口令每日更新） 及 在线web预览

一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。

QQ空间爬虫，可导出并显示日志、相册、留言板、说说、照片、视频等数据。

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

在线地址: http://119.23.223.90:8000

一款信息泄漏利用工具，适用于.git/.svn源代码泄漏和.DS_Store泄漏

今日热榜，一个获取各大热门网站热门头条的聚合网站，使用Go语言编写，多协程异步快速抓取信息，预览:https://mo.fish

百度贴吧爬虫(基于scrapy和mysql)

天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性

A fast tool to fetch URLs from HTML attributes by crawl-in.

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

An asynchronous enumeration & vulnerability scanner. Run all the tools on all the hosts.

大数据生态解决方案数据平台：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。

Crawly, a high-level web crawling & scraping framework for Elixir.

📺 B 站全站视频信息爬虫

各种App、小程序、网站的请求签名或加密算法。 现已有：自如、小红书、蛋壳公寓、luckin coffee(瑞幸咖啡)、bangkokair(曼谷航空)

Tumblr Boiler Plate Theme