1428 Open source projects that are alternatives of or similar to Marmot

🐛一只登录正方教务管理系统，爬取数据的小爬虫

今日头条科技新闻接口爬虫

A collection of awesome web scaper, crawler.

一个轻量级、快速、多线程、多管道、灵活配置的网络爬虫。

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

百度贴吧爬虫(基于scrapy和mysql)

A set of spiders and scrapers to extract location information from places that post their location on the internet.

🍰 一个可视化的爬虫平台

A full-fledged high-performance socks5 proxy server written in C#. Plugin support included.

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

🎊 Design and implement of lightweight crawler framework.

爬蟲極簡教學（fetch, parse, search, multiprocessing, API）- PTT 為例

🌭💦 91porn爬虫在线无限制API接口（永久有效，口令每日更新） 及 在线web预览

知乎模拟登录，支持提取验证码和保存 Cookies

基于Scrapy框架的豆瓣电影爬虫

《数据采集从入门到放弃》源码。内容简介：爬虫介绍、就业情况、爬虫工程师面试题 ；HTTP协议介绍； Requests使用 ；解析器Xpath介绍； MongoDB与MySQL； 多线程爬虫； Scrapy介绍 ；Scrapy-redis介绍； 使用docker部署； 使用nomad管理docker集群； 使用EFK查询docker日志

各种App、小程序、网站的请求签名或加密算法。 现已有：自如、小红书、蛋壳公寓、luckin coffee(瑞幸咖啡)、bangkokair(曼谷航空)

APIs for loginning some websites by using requests.

A multi-functional version of a popular network circumvention tool

network proxy and tunnel (VPN)

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

A framework for creating semi-automatic web content extractors

Python的基础练习代码与各种爬虫代码

稳定的代理工具，比.NET版本更轻量和易用

a reliable high-level web crawling & scraping framework for Node.js.

Tor2web is an HTTP proxy software that enables access to Tor Hidden Services by mean of common web browsers

Experimental Shadowsocks in Go. Stable fork at https://github.com/shadowsocks/go-shadowsocks2

中国大陆大学列表爬虫

带你了解一下Golang的市场行情

基于搜狗微信搜索的微信公众号爬虫接口

tiny, portable SOCKS5 server with very moderate resource usage

用爬虫爬取小说网站上所有小说，存储到数据库中，并用爬到的数据构建自己的小说网站

简单易用的Python爬虫框架，QQ交流群：597510560

基于Scrapy的QQ音乐爬虫(QQ Music Spider)，爬取歌曲信息、歌词、精彩评论等，并且分享了QQ音乐中排名前6400名的内地和港台歌手的49万+的音乐语料

Free Web Scraping Tool with Java

A framework for building composable proxy protocol stack.

Simple but useful Python web scraping tutorial code.

The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns

A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.

🐾 Creeper - The Next Generation Crawler Framework (Go)

Daze is a tool to help you link to the Internet.

Life is short, *****.

Gospider - Fast web spider written in Go

免费ss账号 免费shadowsocks账号 免费v2ray账号 (长期更新)

Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索

zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目

Seeker - another job board aggregator.

Scraping scripts for various websites.

API of DouYin for Humans used to Crawl Popular Videos and Musics

Rust Web Crawler saving pages on Redis

爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy)，过滤器采用了bloomfilter。

[DEPRECATED] Simple, flexible, delightful web crawler/spider package

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

A powerful TCP/UDP tool, which support socks5 proxy by tcp and udp, http proxy and NAT traversal. This tool can help you bypass gfw easily

all kinds of scrapy demo

A simple and flexible web crawler framework for java.

Continuous scalable web crawler built on top of Flink and crawler-commons

Beanbun 是用 PHP 编写的多进程网络爬虫框架，具有良好的开放性、高可扩展性，基于 Workerman。

A web crawler (for bug hunting) that gathers more than you can imagine.

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )