446 Open source projects that are alternatives of or similar to Mooc Dl

获取免费socks/https/http代理的网站集合

ARCHIVED: Contains historical course materials/Homework materials for the FREE MOOC course on "Creative Applications of Deep Learning w/ Tensorflow" #CADL

爬虫所需要的IP代理，抓取九个网站的代理IP检测/清洗/入库/更新，添加调用接口

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

🕷招聘网站爬虫合集，不定期更新分支

🌟⏳🌟 各种网站的签到（停止维护）

房价预测完整项目：1.爬取链家网数据 2.处理后，用sklearn中几个逻辑回归机器学习模型和keras神经网络搭建模型预测房价 最终结果神经网络效果更好，R^2值0.75左右

A collection of awesome web scaper, crawler.

Unmaintained 🐳 ☕️ 🕷 Scala crawler(spider) framework, inspired by scrapy, created by @gaocegege

一个完整的nodeJs 串行爬虫 抓取3万多个页面。

[https://www.sofineday.com], golang项目开发脚手架,集成最佳实践(gin+gorm+go-redis+mongo+cors+jwt+json日志库zap(支持日志收集到kafka或mongo)+消息队列kafka+微信支付宝支付gopay+api加密+api反向代理+go modules依赖管理+headless爬虫chromedp+makefile+二进制压缩+livereload热加载)

A web crawler (for bug hunting) that gathers more than you can imagine.

Codes of my MOOC Course <Play Data Structures in Java>. Updated contents and practices are also included. 我在慕课网上的课程《Java语言玩转数据结构》示例代码。课程的更多更新内容及辅助练习也将逐步添加进这个代码仓。

拼多多爬虫，爬取所有商品、评论等信息

😊😊😊 知乎问题爬虫

用爬虫爬取小说网站上所有小说，存储到数据库中，并用爬到的数据构建自己的小说网站

INGInious is a secure and automated exercises assessment platform using your own tests, also providing a pluggable interface with your existing LMS.

Python爬虫和Flask实现小说网站

Cross Platform C# web crawler framework built for speed and flexibility. Please star this project! +1.

滑动验证码，希望对你们有所帮助❤️

MM131网站图片爬取 🚨

又一个 java 内容（pa）获取（chong）工具

一个低风险的职教云网课兼考试助手 - 油猴子脚本( 支持MOOC学院, 职教云,智慧职教资源库平台 )

🐘 Source code for assignments of Udacity course "Introduction to Hadoop and MapReduce"

all kinds of scrapy demo

备份豆瓣计划

🕷 CrawlerDetect is a PHP class for detecting bots/crawlers/spiders via the user agent

All Terrain Autonomous Quadruped

Course materials for www.wa4e.com

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

简单易用的Python爬虫框架，QQ交流群：597510560

中国大陆大学列表爬虫

爬取微信公众号文章

PHP Link Checker

APIs for loginning some websites by using requests.

😱Full Automatic Amazon Distributed Spider | 亚马逊分布式四国际站采集选款产品|账号admin,密码adminadmin

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

A lite distributed Java spider framework :-)

A simple, fast, and reliable Coursera crawling & downloading tool

[爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to an Individualized crawler easily or you can use the default crawl components only.

B站用户爬虫 好耶~是爬虫

JS逆向研究

Golang爬虫 爬取豆瓣电影Top250

B站3亿用户信息爬虫（mid号，昵称，性别，关注，粉丝，等级）

抖音API、抖音数据、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

netease-music-spider is a sipder that you can find beautiful girlfriend or handsome boyfriend.

爬取北大法宝网http://www.pkulaw.cn/Case/

Digger is a powerful and flexible web crawler implemented by pure golang

BaiduSpider，一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

lots of spider (很多爬虫）

微博超级话题爬虫，微博词频统计+情感分析+简单分类，新增肺炎超话爬取数据

🌸 Lightweight Java Platform Online Mooc Learning Website

😩Tool For Taobao/Tmall| 儿时玩具已经过时

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个

一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫。(兴趣使然的项目，用的不爽了就更新)

Free proxy server, continuously crawling and providing proxies, based on Tornado and Scrapy. 免费代理服务器，基于Tornado和Scrapy，在本地搭建属于自己的代理池

一个浏览器端数据爬虫，做每个人的数据助手

yspider -- 轻量级爬虫系统