394 Open source projects that are alternatives of or similar to Python Script

微博超级话题爬虫，微博词频统计+情感分析+简单分类，新增肺炎超话爬取数据

拼多多爬虫，爬取所有商品、评论等信息

😊😊😊 知乎问题爬虫

B站3亿用户信息爬虫（mid号，昵称，性别，关注，粉丝，等级）

B站用户爬虫 好耶~是爬虫

Cross Platform C# web crawler framework built for speed and flexibility. Please star this project! +1.

备份豆瓣计划

Web crawling framework based on asyncio.

用爬虫爬取小说网站上所有小说，存储到数据库中，并用爬到的数据构建自己的小说网站

😩Tool For Taobao/Tmall| 儿时玩具已经过时

[爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to an Individualized crawler easily or you can use the default crawl components only.

Unmaintained 🐳 ☕️ 🕷 Scala crawler(spider) framework, inspired by scrapy, created by @gaocegege

一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫。(兴趣使然的项目，用的不爽了就更新)

Digger is a powerful and flexible web crawler implemented by pure golang

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

Free proxy server, continuously crawling and providing proxies, based on Tornado and Scrapy. 免费代理服务器，基于Tornado和Scrapy，在本地搭建属于自己的代理池

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

📖 爬取 Stackoverflow 100万 条问答并简单分析

获取免费socks/https/http代理的网站集合

A collection of awesome web scaper, crawler.

房价预测完整项目：1.爬取链家网数据 2.处理后，用sklearn中几个逻辑回归机器学习模型和keras神经网络搭建模型预测房价 最终结果神经网络效果更好，R^2值0.75左右

使用Python3爬取煎蛋妹纸图片

滑动验证码，希望对你们有所帮助❤️

All Terrain Autonomous Quadruped

😱Full Automatic Amazon Distributed Spider | 亚马逊分布式四国际站采集选款产品|账号admin,密码adminadmin

爬取北大法宝网http://www.pkulaw.cn/Case/

JS逆向研究

爬虫所需要的IP代理，抓取九个网站的代理IP检测/清洗/入库/更新，添加调用接口

My Python Demo

MM131网站图片爬取 🚨

PHP Link Checker

一个完整的nodeJs 串行爬虫 抓取3万多个页面。

疫情数据爬虫，2019新型冠状病毒数据仓库，轨迹数据，同乘数据，报道

all kinds of scrapy demo

一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

yspider -- 轻量级爬虫系统

Python爬虫代理IP池(proxy pool)

[https://www.sofineday.com], golang项目开发脚手架,集成最佳实践(gin+gorm+go-redis+mongo+cors+jwt+json日志库zap(支持日志收集到kafka或mongo)+消息队列kafka+微信支付宝支付gopay+api加密+api反向代理+go modules依赖管理+headless爬虫chromedp+makefile+二进制压缩+livereload热加载)

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

简单易用的Python爬虫框架，QQ交流群：597510560

Web Scraping Framework

爬取微信公众号文章

A lite distributed Java spider framework :-)

APIs for loginning some websites by using requests.

Crawl some picture for fun

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

netease-music-spider is a sipder that you can find beautiful girlfriend or handsome boyfriend.

Python爬虫和Flask实现小说网站

owllook-小说搜索引擎

Golang爬虫 爬取豆瓣电影Top250

一个浏览器端数据爬虫，做每个人的数据助手

抖音API、抖音数据、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

👨‍🎓 中国大学MOOC全课件（视频、文档、附件）下载器

中国大陆大学列表爬虫

A simple distributed crawler for zhihu && data analysis

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

🥄 A package for building specific Proxy Pool for different Sites.

ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个

🌟⏳🌟 各种网站的签到（停止维护）