463 Open source projects that are alternatives of or similar to Sign

A Python Bot for Scraping Conversations from Twitter

High performance crawler for Nodejs

frick - aka the first debugger built on top of frida

Uno Crawler por https://douban.com

talospider - A simple,lightweight scraping micro-framework

📰 A responsive interface of Hacker News with summaries and thumbnails.

基于Scrapy框架的豆瓣电影爬虫

Nodejs demo

Go 抓取股票数据爬虫

大众点评爬虫、API，可以进行单独城市、单独地区、单独商铺的爬取、搜索、多类型地区搜索、信息获取、提供MongoDB数据库存储支持，可以进行点评文本解密的爬取、存储

中国银行外汇牌价爬虫 / API (Bank of China - Foreign Exchange - Spider/ API)

An AliExpress spider for Node

A golang utility to spider through a website searching for additional links.

PTT 圖片下載器 (抓取整個看板的圖片，並用文章標題作為資料夾的名稱 ) (使用Scrapy)

Every web site provides APIs.

一个轻量级、快速、多线程、多管道、灵活配置的网络爬虫。

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

各大网站逆向demo。企名片、震坤行工业超市、天翼云登录、物超所值、瓜子二手车、马蜂窝、中华诗词库、澳门彩票、药智网、福建省招标投标在线监管平台、全国公共资源交易平台、问卷星、中国人民银行条法司、中华人民共和国公安部、AqiStudy、巨量星图、HeyTap、掌上高考、船讯网、百度指数、今日头条、知乎、七麦数据、途牛、七猫小说、企查查、同花顺、网易云音乐、拉勾招聘、玩物得志、房天下

🔎 前程无忧 Python 招聘岗位信息爬取和分析

A simple and flexible web crawler framework for java.

磁力網站U3C3介紹以及域名更新

A Fast and Powerful Scraping and Web Crawling Framework.

微信公众号爬虫，公众号历史文章，文章评论，文章阅读及在看数据，可视化web页面，可部署于Windows服务器。基于Python3之flask/mysql/redis/mitmproxy/pywin32等实现，高效微信爬虫，微信公众号爬虫，历史文章，文章评论，数据更新。

You are probably looking for: https://github.com/ViRb3/magisk-frida

百度贴吧爬虫(基于scrapy和mysql)

图书馆书蜗App自动化脚本（抢坐 & 续借）

Extracting and parsing structured data with jQuery Selector, XPath or JsonPath from common web format like HTML, XML and JSON.

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

一键清除失效微博转发/微博收藏爬虫 (Auto delete invalid Weibo Favorites)

Bittorrent dht network spider

Generating spiders dynamically to crawl and check those free proxy ip on the internet with scrapy.

爬蟲極簡教學（fetch, parse, search, multiprocessing, API）- PTT 為例

🐛一只登录正方教务管理系统，爬取数据的小爬虫

An asynchronous enumeration & vulnerability scanner. Run all the tools on all the hosts.

今日头条科技新闻接口爬虫

A set of spiders and scrapers to extract location information from places that post their location on the internet.

🍰 一个可视化的爬虫平台

🕷 A lightning fast multithreaded network scanner framework with modules.

Android application tracer powered by Frida

一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。

将自动爬虫的结果判断是否属于hooks，并不断抓取url爬啊爬。

知乎模拟登录，支持提取验证码和保存 Cookies

Continuous scalable web crawler built on top of Flink and crawler-commons

Cycript fork powered by Frida.

just an experiment

geetest，滑动验证码

新浪微博，微信，知乎，头条爬虫，支持新浪登录打码获取cookie实现登录

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

Tamper detection in Android

🎊 Design and implement of lightweight crawler framework.

🎯Python 3 网络爬虫实战、数据分析合集 | 当当 | 网易云音乐 | unsplash | 必胜客 | 猫眼 |

一款信息泄漏利用工具，适用于.git/.svn源代码泄漏和.DS_Store泄漏

网易云音乐 api(第三方)

Binary instrumentation framework based on FRIDA

DHT磁力链接magnet BT搜索引擎，纯Python开发

在线地址: http://119.23.223.90:8000

天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性

爬取网易云音乐所有歌曲的评论数

Web Scan Lazy Tools - Python Package

A fast tool to fetch URLs from HTML attributes by crawl-in.