398 Open source projects that are alternatives of or similar to Videoserver

Collection of China illegal cases about web crawler 本项目用来整理所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。致力于帮助在中国大陆工作的爬虫行业从业者了解我国相关法律，避免触碰数据合规红线。 [AD]中文知识图谱门户

一个获取知乎用户主页信息的多线程Python爬虫程序。

Polite, slim and concurrent web crawler.

Python3 script to continuously download all images/webms of multiple 4chan thread simultaneously - without installation

Easy to use lightweight web crawler（易用的轻量化网络爬虫）

News, full-text, and article metadata extraction in Python 3. Advanced docs:

JS逆向研究

MM131网站图片爬取 🚨

Crawl instagram photos, posts and videos for download.

微博超级话题爬虫，微博词频统计+情感分析+简单分类，新增肺炎超话爬取数据

DownZemAll! is a download manager for Windows, MacOS and Linux

Multithreading download all HD photos / pictures from someone's Sina Weibo album.

稳健高效的评分制-针对性- IP代理池 + API服务，可以自己插入采集器进行代理IP的爬取，针对你的爬虫的一个或多个目标网站分别生成有效的IP代理数据库，支持MongoDB 4.0 使用 Python3.7（Scored IP proxy pool ,customise proxy data crawler can be added anytime）

字体混淆服务

scrapes medias, likes, followers, tags and all metadata. Inspired by instagram-php-scraper,bot

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

用 node.js 爬你自己的 leetcode 解题源码

基于Scrapy的QQ音乐爬虫(QQ Music Spider)，爬取歌曲信息、歌词、精彩评论等，并且分享了QQ音乐中排名前6400名的内地和港台歌手的49万+的音乐语料

根据关键词抓取微博数据，再生成词云

（已跑路）百度贴吧吧务管理工具，自动扫描帖子并处理违规帖

💐Marmot | Web Crawler/HTTP protocol Download Package 🐭

获取免费socks/https/http代理的网站集合

Dynamic meta tags in your AngularJS single page application

《数据采集从入门到放弃》源码。内容简介：爬虫介绍、就业情况、爬虫工程师面试题 ；HTTP协议介绍； Requests使用 ；解析器Xpath介绍； MongoDB与MySQL； 多线程爬虫； Scrapy介绍 ；Scrapy-redis介绍； 使用docker部署； 使用nomad管理docker集群； 使用EFK查询docker日志

APIs for loginning some websites by using requests.

📢 Ptt 文章通知機器人！Notify Ptt Article in Realtime

Sample of using proxies to crawl baidu search results.

Antch, a fast, powerful and extensible web crawling & scraping framework for Go

Viewers for statistics and dashboarding of Domain Search Engine data

CoCrawler is a versatile web crawler built using modern tools and concurrency.

🎬 电影资源爬虫,电影图片抓取脚本,Flask|Nginx|wsgi

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

Golang爬虫 爬取豆瓣电影Top250

一些爬虫的代码

一只优雅的正方教务系统爬虫。

基于 Selenium 的知乎关键词爬虫

BaiduSpider，一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

Touhou Project random music video generator/player, crawling image and video from websites to generate MV.

💻 Quickly crawl the information (e.g. followers, tags, etc...) of an instagram profile. No login required!

🕷️ A node crawler for github trending.

Cross-platform persistent and distributed web crawler 🔗

Go process used to crawl websites

Fawkes is a tool to search for targets vulnerable to SQL Injection. Performs the search using Google search engine.

Get (almost) original messages from google group archives. Your data is yours.

A scalable web crawler framework for Java.

data resource untuk NLP bahasa indonesia

🕷 CrawlerDetect is a PHP class for detecting bots/crawlers/spiders via the user agent

Web crawling framework based on asyncio.

蓝天采集器是一款免费的数据采集发布爬虫软件，采用php+mysql开发，可部署在云服务器，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统

This repository contains all the code I use in my YouTube tutorials.

A dungeon crawler

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

Google play scraper for Python inspired by <facundoolano/google-play-scraper>

golang light-weight image crawler

🍿爬虫代理IP池(proxy pool) python🍟一个还ok的IP代理池

Github 仓库及用户分析爬虫

A simple distributed crawler for zhihu && data analysis

抖音爬虫，tiktok crawler，抖音数据采集接口，抖音视频去水印，百分百成功，不需要服务器，不需要代理 IP。

😱Full Automatic Amazon Distributed Spider | 亚马逊分布式四国际站采集选款产品|账号admin,密码adminadmin