463 Open source projects that are alternatives of or similar to talospider

A series of distributed components for Scrapy. Including RabbitMQ-based components, Kafka-based components, and RedisBloom-based components for Scrapy.

a reliable high-level web crawling & scraping framework for Node.js.

Elegant Scraper and Crawler Framework for Golang

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

Powerful web scraping framework for Crystal

Crawly, a high-level web crawling & scraping framework for Elixir.

Continuous scalable web crawler built on top of Flink and crawler-commons

简单易用的Python爬虫框架，QQ交流群：597510560

Wget-AT is a modern Wget with Lua hooks, Zstandard (+dictionary) WARC compression and URL-agnostic deduplication.

蓝天采集器是一款免费的数据采集发布爬虫软件，采用php+mysql开发，可部署在云服务器，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

项目已经移动至：https://github.com/BaiduSpider/BaiduSpider ！！ 一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

这其实是一份学习笔记。包括学习记录、爬虫练习平台（网站）、自制工具脚本

Create you virus in termux!

A web spider for shodan.io without using the Developer API.

项目已经过时！无法应用在改版后的网站上。

FofaMap是一款基于Python3开发的跨平台FOFA数据采集器，支持网站图标查询、批量查询和自定义查询FOFA数据，能够根据查询结果自动去重并生成对应的Excel表格。另外春节特别版还可以调用Nuclei对目标进行漏洞扫描，让你在挖洞路上快人一步。

抖音接口、抖音API、抖音数据爬虫、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

Get movie info from douban(豆瓣) and display in your terminal

An open source webapp for scraping: towards a public service for webscraping

拟物校园，一个开源的高校教务移动化解决方案。

10 photo website spiders, 10 个国外图库的 scrapy 爬虫代码

中国明星数据爬取。你甚至可以拿到互联网上所有的人之间的关系，接下来你可以自己发挥！基于这些数据，你可以完成更多有趣的事情。比如说社交网络分析，关系网络可视化，算法研究，和其他有意思的事情。Chinese star data crawling. You can even get all the people on the internet! Based on these data, you can do more interesting things. For example, social network analysis, relational network visualization, algorithm research, and other interesting things.

Extracting and parsing structured data with jQuery Selector, XPath or JsonPath from common web format like HTML, XML and JSON.

A DHT Spider allows you to sniff the torrents and magnets.You can download them directly.

基于 RabbitMQ 中间件的爬虫的 Ruby 实现 [Developing]

Web crawling and scraping framework for Golang

A web crawler that uses Firefox and js injection to interact with webpages and crawl their content, written in nodejs.

爬虫Demo，基于Python实现

爬取QQ用户信息（qq号、昵称、生日、地址等基本信息）并做简要analysis。

Генератор сырых дампов пользователей VK.

A crawler based on Phantom. Allows discovery of dynamic content and supports custom scrapers.

一些爬虫开发的技巧和案例

Screen scraping and web crawling framework

Get Aliexpress product details in JSON

一个基于Scrapy的数据采集爬虫代码库

千万级图片爬虫、视频爬虫 [开源版本] Image Spider

download document from book118 for free

🌌 High productivity semi-automatic crawler generator 🛠️🧰

虎扑网相册下载工具

自动答题程序🎉

网易云音乐 api(第三方)

ZUCC正方教务系统抢课助手。针对ZUCC正方教务系统模拟登录，爬取课程信息，自动抓包发包抢课。具体实现流程可参考README中的实现原理链接

Simple for use node html crawler (spider) of site web pages

免费 IP 代理池。Scrapy 爬虫框架插件

🎊 Design and implement of lightweight crawler framework.

V2EX爬虫

Crawl sites for RSS, Atom, and JSON feeds.

🌟 powered by python3( simple learning of spider) 百度文库；网易云歌曲； 豆瓣电影； GitHub； 京东； QQ空间； 天气； vip解析助手； TED文本内容； wifi破解脚本； 必应图片设置为桌面等爬取

收集各种免费的 Python 爬虫项目

163music spider by scrapy.

😚 Q & A website based on Spring Boot.

A django admin site for scrapy

搜索你的知乎收藏：可以直观地浏览你的所有收藏夹的内容，并进行全文搜索

Music Spider. Go 👾 Music Spider 是使用Golang写的音乐聚合爬虫，目前支持的站点包括 网易、QQ、虾米、酷狗、百度。

Fetch, store and access user agent strings for different browsers

妹子图全站采集10G套图资源

jobSpider是一只scrapy爬虫，用于爬取职位信息

A web spider framework

银行、支行名称。中国各地区各银行支行名称数据爬虫，数据来源微信商户平台，已经整理可直接导入的sql文件