493 Open source projects that are alternatives of or similar to crawlerdetect

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

QQ空间爬虫，可导出并显示日志、相册、留言板、说说、照片、视频等数据。

项目已经移动至：https://github.com/BaiduSpider/BaiduSpider ！！ 一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

A lite distributed Java spider framework :-)

Python爬虫，返回一定格式的信息，下载，使用flask提供简易api。抖音无水印、皮皮虾、快手、网易云音乐、qq音乐、咪咕音乐、荔枝FM音频、知乎视频、最右语音、视频、微博......

A User-Agent spoofer browser extension that is highly configurable

Kindle Book Maker with KindleGen, Make Book from RSS/single URL/directory and so on.

netease-music-spider is a sipder that you can find beautiful girlfriend or handsome boyfriend.

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

Grabs all of the audio files from all of the Blinkist books

快速、简洁且强大的PHP爬虫框架

一个浏览器端数据爬虫，做每个人的数据助手

🌭💦 91porn爬虫在线无限制API接口（永久有效，口令每日更新） 及 在线web预览

Server written in PHP, provides a Javascript API for in the browser

在线地址: http://119.23.223.90:8000

中国大陆大学列表爬虫

天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性

超高速异步协程Python爬虫

🔎 前程无忧 Python 招聘岗位信息爬取和分析

😱Full Automatic Amazon Distributed Spider | 亚马逊分布式四国际站采集选款产品|账号admin,密码adminadmin

爬取网易云音乐所有歌曲的评论数

Extracts browser and operating system information from the user agent string or user agent object(userAgentData).

Every web site provides APIs.

爬虫所需要的IP代理，抓取九个网站的代理IP检测/清洗/入库/更新，添加调用接口

Nodejs demo

文章采集工具 Article collection tool

微信公众号爬虫，公众号历史文章，文章评论，文章阅读及在看数据，可视化web页面，可部署于Windows服务器。基于Python3之flask/mysql/redis/mitmproxy/pywin32等实现，高效微信爬虫，微信公众号爬虫，历史文章，文章评论，数据更新。

MM131网站图片爬取 🚨

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

Sawmill is a JSON transformation Java library

爬蟲極簡教學（fetch, parse, search, multiprocessing, API）- PTT 為例

一个完整的nodeJs 串行爬虫 抓取3万多个页面。

A set of spiders and scrapers to extract location information from places that post their location on the internet.

A spider tapestry weaver

一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。

all kinds of scrapy demo

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

Aplus Framework HTTP Library

一款信息泄漏利用工具，适用于.git/.svn源代码泄漏和.DS_Store泄漏

yspider -- 轻量级爬虫系统

DHT磁力链接magnet BT搜索引擎，纯Python开发

蜘蛛纸牌 for mac

A fast tool to fetch URLs from HTML attributes by crawl-in.

[https://www.sofineday.com], golang项目开发脚手架,集成最佳实践(gin+gorm+go-redis+mongo+cors+jwt+json日志库zap(支持日志收集到kafka或mongo)+消息队列kafka+微信支付宝支付gopay+api加密+api反向代理+go modules依赖管理+headless爬虫chromedp+makefile+二进制压缩+livereload热加载)

中国银行外汇牌价爬虫 / API (Bank of China - Foreign Exchange - Spider/ API)

Get your lists of User-Agent Strings here

Uno Crawler por https://douban.com

简单易用的Python爬虫框架，QQ交流群：597510560

PTT 圖片下載器 (抓取整個看板的圖片，並用文章標題作為資料夾的名稱 ) (使用Scrapy)

一个简单的基于DHT协议的BT磁力链接爬虫

爬取微信公众号文章

图片爬取下载工具，极速爬取下载 站酷https://www.zcool.com.cn/, CNU 视觉 http://www.cnu.cc/ 设计师/用户 上传的 图片/照片/插画。

python 爬虫(amazon, confluence ...)

这是一个用Python写的小说爬虫软件

Easily generate correct user-agent strings for popular browsers

Dynamic configurable crawl (动态可配置化爬虫)

Th3Inspector 🕵️ Best Tool For Information Gathering 🔎

[Crawler/Scraper for Golang]🕷A lightweight distributed friendly Golang crawler framework.一个轻量的分布式友好的 Golang 爬虫框架。

Pholcus is a distributed high-concurrency crawler software written in pure golang