4281 Open source projects that are alternatives of or similar to Python Spider

Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索

《数据采集从入门到放弃》源码。内容简介：爬虫介绍、就业情况、爬虫工程师面试题 ；HTTP协议介绍； Requests使用 ；解析器Xpath介绍； MongoDB与MySQL； 多线程爬虫； Scrapy介绍 ；Scrapy-redis介绍； 使用docker部署； 使用nomad管理docker集群； 使用EFK查询docker日志

Python related technologies used in work: crawler, data analysis, timing tasks, RPC, page parsing, decorator, built-in functions, Python objects, multi-threading, multi-process, asynchronous, redis, mongodb, mysql, openstack, etc.

Infrastructure Management Shell - Linux

TreeFrog Framework : High-speed C++ MVC Framework for Web Application

使用SpringCloud和Spring WebFlux开发的学生作业管理系统服务端，前后端分离项目，微服务架构。支持Docker集群化部署，Redis集群化缓存，文件在线预览 压缩包预览 打包上传下载

webchat via WebSockets/WebRTC that allows messaging/video call/screen sharing

基于swoole的异步轻量级web框架，内部封装协程异步非阻塞全套mysql、redis、mongo、memcached连接池，可以轻松start、reload、stop，加入数据库的查询模块,框架已经封装好近乎同步写法，底层异步调用

一些基础服务的docker-compose配置文件，方便在一台新电脑上快速开始工作

Management commands to help backup and restore your project database and media files

AlipaySpider on Scrapy(use chrome driver); 支付宝爬虫(基于Scrapy)

全栈工程师手册

Netkiller Free ebook - 免费电子书

🍎 笔记本

Vagrant configuration for PHP7, Phalcon 3.x and Zephir development.

Java全栈知识架构体系总结

mdserver (mac version, secondary development)

大数据生态解决方案数据平台：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。

Spring Boot 2.x code examples

Django based application that allows creating, deploying and running Scrapy spiders in a distributed manner

Seeker - another job board aggregator.

知乎用户公开个人信息爬虫, 能够爬取用户关注关系，基于Python、使用代理、多线程

💖 High available distributed ip proxy pool, powerd by Scrapy and Redis

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

macOS development environment setup: Easy-to-understand instructions with automated setup scripts for developer tools like Vim, Sublime Text, Bash, iTerm, Python data analysis, Spark, Hadoop MapReduce, AWS, Heroku, JavaScript web development, Android development, common data stores, and dev-based OS X defaults.

An open source webapp for scraping: towards a public service for webscraping

rabbitmq、redis、scheduled、socket、mongodb、Swagger2、spring data jpa、Thymeleaf、freemarker etc. (muti module spring boot project) (with spring boot framework，different bussiness scence with different technology。)

深圳地铁大数据客流分析系统🚇🚄🌟

selenium异步爬取网页图片

mall-swarm是一套微服务商城系统，采用了 Spring Cloud Hoxton & Alibaba、Spring Boot 2.3、Oauth2、MyBatis、Docker、Elasticsearch、Kubernetes等核心技术，同时提供了基于Vue的管理后台方便快速搭建系统。mall-swarm在电商业务的基础集成了注册中心、配置中心、监控中心、网关等系统功能。文档齐全，附带全套Spring Cloud教程。

mall学习教程，架构、业务、技术要点全方位解析。mall项目（40k+star）是一套电商系统，使用现阶段主流技术实现。涵盖了SpringBoot 2.3.0、MyBatis 3.4.6、Elasticsearch 7.6.2、RabbitMQ 3.7.15、Redis 5.0、MongoDB 4.2.5、Mysql5.7等技术，采用Docker容器化部署。

🔒 Node Access Control Lists (ACL).

🔎Sniffing and parsing mysql,redis,http,mongodb etc protocol. 抓包截取项目中的数据库请求并解析成相应的语句。

Bifrost ---- 面向生产环境的 MySQL 同步到Redis,MongoDB,ClickHouse,MySQL等服务的异构中间件

Symfony2/3/4/5 Queue Bundle (for background jobs) supporting Mongo (Doctrine ODM), Mysql (and any Doctrine ORM), RabbitMQ, Beanstalkd, Redis, and ... {write your own}

我的日记

Django-天天生鲜电商学习项目

mall项目是一套电商系统，包括前台商城系统及后台管理系统，基于SpringBoot+MyBatis实现，采用Docker容器化部署。 前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、帮助中心等模块。 后台管理系统包含商品管理、订单管理、会员管理、促销管理、运营管理、内容管理、统计报表、财务管理、权限管理、设置等模块。

Python fixtures and daemon managing tools for functional testing

我,请始皇[打钱]是一个前后端分离的工具人系统，项目采用 SpringBoot+Go+Vue 开发，项目加入常见的企业级应用所涉及到的技术点，例如 Redis、RabbitMQ 等(主要是多用用工具多踩踩坑)。

Key-value storage for multiple databases. Supports MongoDB, MySQL, Postgres, Redis, and SQLite.

基于EF Core的Code First模式的DotNetCore快速开发框架，其中包括DBContext、IOC组件autofac和AspectCore.Injector、代码生成器（也支持DB First）、基于AspectCore的memcache和Redis缓存组件，以及基于ICanPay的支付库和一些日常用的方法和扩展，比如批量插入、更新、删除以及触发器支持，当然还有demo。欢迎提交各种建议、意见和pr~

Spring Boot & Spring Cloud & Spring Security Demo Case（Spring学习示例实战项目）

📚 经典技术书籍推荐，持续更新...

Creating Scrapy scrapers via the Django admin interface

慕课网python分布式爬虫源码-长期更新维护

all kinds of scrapy demo

用爬虫爬取小说网站上所有小说，存储到数据库中，并用爬到的数据构建自己的小说网站

book.zi5.me全站kindle电子书籍爬取，按照作者书籍名分类，每本书有mobi和equb两种格式，采用分布式进行全站爬取

随着技术日新月异，新技术新平台不断出现，对现如今的开发人员来说选择快速高效的框架进行项目开发，既能提高产出，又能节约时间。本框架无需开发即可实现服务注册、服务发现、负载均衡、服务网关、配置中心、API管理、分布式事务、支撑平台、集成框架、数据传输加密等功能，是学习SpringCloud整体业务模式的完整示例，并且可以直接用于生产环境

爬虫学习仓库，适合零基础的人学习，对新手比较友好

招聘网数据爬虫

🔥 Go 轻量级开发通用库 🚀🚀🚀

Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Django and Vue.js

基于swoole的异步轻量级api框架，内部封装全套mysql、redis、mongo、memcached异步客户端，可以轻松start、reload、stop，加入数据库的查询模块,框架已经封装好近乎同步写法，底层异步调用。现已支持异步mysql、异步redis、异步http请求.

基于python语言开发的千万级别搜索引擎

🦸【C#/.NET/.NET Core学习、工作、面试指南】概述：C#/.NET/.NET Core基础知识，学习资料、文章、书籍，社区组织，工具和常见的面试题总结。以及面试时需要注意的事项和优秀简历编写技巧，希望能和大家一起成长进步👊。【让现在的自己不再迷漫✨】

NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。

Build and deploy a machine learning app from scratch 🚀

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。