513 Open source projects that are alternatives of or similar to learning_spider

基于python语言开发的千万级别搜索引擎

🐾 Creeper - The Next Generation Crawler Framework (Go)

A bunch of small Unity projects where I explore and learn Unity's new ECS and Job System.

📰 Brazilian government gazettes, accessible to everyone.

一个功能全面的微信读书爬虫 wereader

👽 OneBlog，一个简洁美观、功能强大并且自适应的Java博客

Generate an object for testing if a request is sent, request is Mikeal's request.

🚇暗网中文网监控爬虫(DEEPMIX)

JavaScript + BeautifulSoup = JSSoup

👉一个基于spring boot 实现的java股票爬虫(仅支持A股)，如果你❤️请⭐️ . V2升级版正在开发中！

A series of distributed components for Scrapy. Including RabbitMQ-based components, Kafka-based components, and RedisBloom-based components for Scrapy.

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

多线程知乎用户爬虫，基于python3

一个超级轻量的百度图片爬虫

Grabs all of the audio files from all of the Blinkist books

API of DouYin for Humans used to Crawl Popular Videos and Musics

portia-dashboard is a visual web crawler based on scrapinghub/portia

抓取网易云音乐热门评论

计算机基础知识，数据结构，设计模式，Tomcat中间件的实现

最简单的91porn爬虫php版本

稳健高效的评分制-针对性- IP代理池 + API服务，可以自己插入采集器进行代理IP的爬取，针对你的爬虫的一个或多个目标网站分别生成有效的IP代理数据库，支持MongoDB 4.0 使用 Python3.7（Scored IP proxy pool ,customise proxy data crawler can be added anytime）

A Facebook crawler

bet365 bot: bet365的比赛实时比分数据、实时赔率

带你了解一下Golang的市场行情

[Crawler/Scraper for Golang]🕷A lightweight distributed friendly Golang crawler framework.一个轻量的分布式友好的 Golang 爬虫框架。

A collection of awesome web crawler,spider in different languages

😚 Q & A website based on Spring Boot.

🎬 基于Pyqt5的简单电影搜索工具

抓取豆瓣，bilibili等中的电视剧、电影、动漫演员等信息

汤不热 python 多线程爬虫

🚀 Simple, educational dotfiles template to get started with Zsh and learn about its features

Python的基础练习代码与各种爬虫代码

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

Html网页正文提取

ICP备案查询，可查询企业或域名的ICP备案信息，自动完成滑动验证，保存结果到Excel表格，适用于2022年新版的工信部备案管理系统网站，告别频繁拖动验证，以及某站*工具要开通VIP才可查看备案信息的坑

今日热榜，一个获取各大热门网站热门头条的聚合网站，使用Go语言编写，多协程异步快速抓取信息，预览:https://mo.fish

A simple distributed crawler for zhihu && data analysis

✨ 知乎日报 - 爬虫、数据分析、Node.js、Vue.js ...

A web crawler for Go

跨平台的京东全能工具包 仅供学习使用，技术交流群：108934299

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

QQ空间爬虫，可导出并显示日志、相册、留言板、说说、照片、视频等数据。

中国明星数据爬取。你甚至可以拿到互联网上所有的人之间的关系，接下来你可以自己发挥！基于这些数据，你可以完成更多有趣的事情。比如说社交网络分析，关系网络可视化，算法研究，和其他有意思的事情。Chinese star data crawling. You can even get all the people on the internet! Based on these data, you can do more interesting things. For example, social network analysis, relational network visualization, algorithm research, and other interesting things.

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

📖 爬取 Stackoverflow 100万 条问答并简单分析

Python爬虫，返回一定格式的信息，下载，使用flask提供简易api。抖音无水印、皮皮虾、快手、网易云音乐、qq音乐、咪咕音乐、荔枝FM音频、知乎视频、最右语音、视频、微博......

Code for my blog post on How to Build Your Own Uber-for-X App

Kindle Book Maker with KindleGen, Make Book from RSS/single URL/directory and so on.

🥄 A package for building specific Proxy Pool for different Sites.

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

robots.txt file parsing and checking for R

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

爬取QQ用户信息（qq号、昵称、生日、地址等基本信息）并做简要analysis。

项目已经过时！无法应用在改版后的网站上。

An open source webapp for scraping: towards a public service for webscraping

免费 IP 代理池。Scrapy 爬虫框架插件

Rover is a command-line tool for learning programming interactively.

This reprositry contain all the codes of Udacity programming for data science course

A project for learning Clojure, based on rustlings.

a puppeteer walker 🕷 🕸