496 Open source projects that are alternatives of or similar to wb_wx_zh_tt

微博话题关键词,个人微博采集, 微博博文一键删除 selenium获取cookie,requests处理

微博超级话题爬虫，微博词频统计+情感分析+简单分类，新增肺炎超话爬取数据

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

APIs for loginning some websites by using requests.

A Fast and Powerful Scraping and Web Crawling Framework.

No description or website provided.

一个基于Glang语言开发的站群系统（蜘蛛池系统）

A web spider for shodan.io without using the Developer API.

A series of distributed components for Scrapy. Including RabbitMQ-based components, Kafka-based components, and RedisBloom-based components for Scrapy.

Collection of scrapy spiders which can scrape posts, images, and so on from public Facebook Pages.

☃️ 这是一个使微博网页版更加纯净的 Chrome 插件

An open source webapp for scraping: towards a public service for webscraping

有道词典网页爬虫

搜索你的知乎收藏：可以直观地浏览你的所有收藏夹的内容，并进行全文搜索

爬取QQ用户信息（qq号、昵称、生日、地址等基本信息）并做简要analysis。

A django admin site for scrapy

新浪微博图床批量传图工具 上传-缩放-水印-生成链接一键搞定

一些爬虫开发的技巧和案例

Get movie info from douban(豆瓣) and display in your terminal

An AliExpress spider for Node

10 photo website spiders, 10 个国外图库的 scrapy 爬虫代码

拟物校园，一个开源的高校教务移动化解决方案。

自动答题程序🎉

第三方平台联合登陆（facebook、微信、微博、QQ、Kakao）

download document from book118 for free

基于 RabbitMQ 中间件的爬虫的 Ruby 实现 [Developing]

提供一些境内境外常见的站点Python登录脚本

jobSpider是一只scrapy爬虫，用于爬取职位信息

V2EX爬虫

python爬虫小项目【持续更新】【笔趣阁小说下载、Tweet数据抓取、天气查询、网易云音乐逆向、天天基金网查询、微博数据抓取（生成cookie）、有道翻译逆向、企查查免登陆爬虫、大众点评svg加密破解、B站用户爬虫、拉钩免登录爬虫、自如租房字体加密、知乎问答

Extracting and parsing structured data with jQuery Selector, XPath or JsonPath from common web format like HTML, XML and JSON.

这其实是一份学习笔记。包括学习记录、爬虫练习平台（网站）、自制工具脚本

微博自动摘要系统 Chinese Microblog Automatic Summary System

Full-featured social media monitor that extracts data from a variety of services and pushes updates to Telegram or other platforms

网易云音乐 api(第三方)

微博搬运姬，自动搬运B博动态至微博的机器人

爬虫Demo，基于Python实现

项目已经过时！无法应用在改版后的网站上。

微博图床 Alfred Workflow，警告：微博修改了登录方式，此 workflow 暂时不能用了，何时修复未定，推荐使用 iPic

A lightweight and modular social sharing library

抖音接口、抖音API、抖音数据爬虫、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

Get Aliexpress product details in JSON

talospider - A simple,lightweight scraping micro-framework

千万级图片爬虫、视频爬虫 [开源版本] Image Spider

一个基于Scrapy的数据采集爬虫代码库

中国明星数据爬取。你甚至可以拿到互联网上所有的人之间的关系，接下来你可以自己发挥！基于这些数据，你可以完成更多有趣的事情。比如说社交网络分析，关系网络可视化，算法研究，和其他有意思的事情。Chinese star data crawling. You can even get all the people on the internet! Based on these data, you can do more interesting things. For example, social network analysis, relational network visualization, algorithm research, and other interesting things.

FofaMap是一款基于Python3开发的跨平台FOFA数据采集器，支持网站图标查询、批量查询和自定义查询FOFA数据，能够根据查询结果自动去重并生成对应的Excel表格。另外春节特别版还可以调用Nuclei对目标进行漏洞扫描，让你在挖洞路上快人一步。

第三方平台联合登陆（facebook、微信、微博、QQ、Kakao）

虎扑网相册下载工具

Simple for use node html crawler (spider) of site web pages

use webview let user to login Weibo,and the auto get user info(使用webview让用户授权登录微博，然后自动获取用户信息)

免费 IP 代理池。Scrapy 爬虫框架插件

ZUCC正方教务系统抢课助手。针对ZUCC正方教务系统模拟登录，爬取课程信息，自动抓包发包抢课。具体实现流程可参考README中的实现原理链接

🎊 Design and implement of lightweight crawler framework.

🌟 powered by python3( simple learning of spider) 百度文库；网易云歌曲； 豆瓣电影； GitHub； 京东； QQ空间； 天气； vip解析助手； TED文本内容； wifi破解脚本； 必应图片设置为桌面等爬取

山寨长微博

WeiBo Pic for WordPress by youthlin.com

Simpler是一款轻量级的第三方微博应用，具有微博的基础功能，兼有外观优雅，运行流畅，内存占用低，省电省流量等特点。

收集各种免费的 Python 爬虫项目

Wget-AT is a modern Wget with Lua hooks, Zstandard (+dictionary) WARC compression and URL-agnostic deduplication.