804 Open source projects that are alternatives of or similar to Webspider

利昂图书馆预约系统自动预约&签到程序。支持包括中国人民大学、北京师范大学、济南大学、哈尔滨工业大学等在内的38所高校的图书馆系统

An asynchronous enumeration & vulnerability scanner. Run all the tools on all the hosts.

An open source webapp for scraping: towards a public service for webscraping

该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。

APIs for loginning some websites by using requests.

🏀 Python3 网络爬虫实战（部分含详细教程）猫眼 腾讯视频 豆瓣 研招网 微博 笔趣阁小说 百度热点 B站 CSDN 网易云阅读 阿里文学 百度股票 今日头条 微信公众号 网易云音乐 拉勾 有道 unsplash 实习僧 汽车之家 英雄联盟盒子 大众点评 链家 LPL赛程 台风 梦幻西游、阴阳师藏宝阁 天气 牛客网 百度文库 睡前故事 知乎 Wish

B站用户爬虫 好耶~是爬虫

Docker-based Message Queuing

ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个

一个简单的分布式爬虫框架

百度贴吧生日爬虫，可抓取贴吧内吧友生日，并且在对应日期自动发送祝福

收集各种免费的 Python 爬虫项目

微博话题关键词,个人微博采集, 微博博文一键删除 selenium获取cookie,requests处理

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

Non-blocking Celery client for Tornado

Official bugsnag error monitoring and error reporting for django, flask, tornado and other python apps.

Free proxy server, continuously crawling and providing proxies, based on Tornado and Scrapy. 免费代理服务器，基于Tornado和Scrapy，在本地搭建属于自己的代理池

fastweb is a web-server integration solution. It based on tornado, celery, thrift.

linux资产管理,cmdb,django, webssh,运维管理平台，数据库操作平台 本项目已停止开发！因长时间未对代码进行维护，可能会造成项目在不同环境上无法部署、运行BUG等问题，请知晓！项目仅供参考！

Broccoli - distributed task queues for ESP32 cluster

The highest performance asynchronous MySQL driver by PyMySQL

A set of spiders and scrapers to extract location information from places that post their location on the internet.

一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。

python powered Intelligent System

Every web site provides APIs.

Powerful, modern HTTP/REST client built on top of the Requests library

Python-based blog using tornado and bootstrap framework（螺壳网）

Lets Map Your Network enables you to visualise your physical network in form of graph with zero manual error

📰 A responsive interface of Hacker News with summaries and thumbnails.

Gathers scalable tensorflow and infrastructure deployment

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

Bittorrent dht network spider

爬取 www.mzitu.com 全站图片，截至目前共5162个图集，16.5万多张美女图片，使用 asyncio 和 aiohttp 实现的异步版本只需要不到2小时就能爬取完成。按日期创建图集目录，保存更合理。控制台只显示下载的进度条，详细信息保存在日志文件中。支持异常处理，不会终止爬虫程序。失败的请求，下次再执行爬虫程序时会自动下载

天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性

🕷 A lightning fast multithreaded network scanner framework with modules.

🚀 A Simple API Gateway for Building Security and Flexible Microservices.

Simple and rapid framework to build workflows with Celery

磁力網站U3C3介紹以及域名更新

html5 斗地主游戏

Nodejs demo

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

PHP Curl Class makes it easy to send HTTP requests and integrate with web APIs

Türkçe olarak hazırlanmış Python programlama dili ile ilgili içeriklerin derlendiği sayfa.

大众点评爬虫、API，可以进行单独城市、单独地区、单独商铺的爬取、搜索、多类型地区搜索、信息获取、提供MongoDB数据库存储支持，可以进行点评文本解密的爬取、存储

知乎模拟登录，支持提取验证码和保存 Cookies

一款信息泄漏利用工具，适用于.git/.svn源代码泄漏和.DS_Store泄漏

Multiprocessing Pool Extensions

geetest，滑动验证码

百度贴吧爬虫(基于scrapy和mysql)

DHT磁力链接magnet BT搜索引擎，纯Python开发

微信公众号爬虫，公众号历史文章，文章评论，文章阅读及在看数据，可视化web页面，可部署于Windows服务器。基于Python3之flask/mysql/redis/mitmproxy/pywin32等实现，高效微信爬虫，微信公众号爬虫，历史文章，文章评论，数据更新。

Pagination support for python web frameworks (study from will_paginate).

📊 Request statistics middleware that stores response times, status code counts, etc

🎊 Design and implement of lightweight crawler framework.

大众点评评论文本挖掘，包括点评数据爬取、数据清洗入库、数据分析、评论情感分析等的完整挖掘项目

A RxJS wrapper for axios, same api as axios absolutely

A fast tool to fetch URLs from HTML attributes by crawl-in.

Web Scan Lazy Tools - Python Package

Workshop on Template Injection (6 exercises) covering Twig, Jinja2, Tornado, Velocity and Freemaker engines.

Full stack, modern web application generator. Using Flask, CouchDB as database, Docker, Swagger, automatic HTTPS and more.