BeanbunBeanbun 是用 PHP 编写的多进程网络爬虫框架,具有良好的开放性、高可扩展性,基于 Workerman。
Stars: ✭ 1,096 (+861.4%)
Ant nestSimple, clear and fast Web Crawler framework build on python3.6+, powered by asyncio.
Stars: ✭ 90 (-21.05%)
Awesome Python Primer自学入门 Python 优质中文资源索引,包含 书籍 / 文档 / 视频,适用于 爬虫 / Web / 数据分析 / 机器学习 方向
Stars: ✭ 57 (-50%)
Nl2lfThe Resources for "Natural Language to Logical Form" ; "自然语言转逻辑形式"研究资料收集。
Stars: ✭ 105 (-7.89%)
BtletSome toolkits implements part of BT Protocol, like DHT spider.
Stars: ✭ 54 (-52.63%)
Spider简简单单spider
Stars: ✭ 88 (-22.81%)
48tools48工具,提供公演、口袋直播录源,公演、口袋录播下载,B站直播抓取,B站视频下载,A站直播抓取,A站视频下载,视频截取,视频导出gif,视频合并等功能。
Stars: ✭ 85 (-25.44%)
Reptile🏀 Python3 网络爬虫实战(部分含详细教程)猫眼 腾讯视频 豆瓣 研招网 微博 笔趣阁小说 百度热点 B站 CSDN 网易云阅读 阿里文学 百度股票 今日头条 微信公众号 网易云音乐 拉勾 有道 unsplash 实习僧 汽车之家 英雄联盟盒子 大众点评 链家 LPL赛程 台风 梦幻西游、阴阳师藏宝阁 天气 牛客网 百度文库 睡前故事 知乎 Wish
Stars: ✭ 1,048 (+819.3%)
Cockroach又一个 java 内容(pa)获取(chong)工具
Stars: ✭ 112 (-1.75%)
CrawlabDistributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架
Stars: ✭ 8,392 (+7261.4%)
NightWeekly Go Online Meetup via Bilibili|Go 夜读|通过 bilibili 在线直播的方式分享 Go 相关的技术话题,每天大家在微信/telegram/Slack 上及时沟通交流编程技术话题。
Stars: ✭ 10,058 (+8722.81%)
Bilibili Client📺 可以摸鱼的 Bilibili Mini-Client # 支持Mac/Win
Stars: ✭ 102 (-10.53%)
App comments spider爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy),过滤器采用了bloomfilter。
Stars: ✭ 38 (-66.67%)
Weixin微信小游戏辅助合集(加减大师、包你懂我、大家来找茬腾讯版、头脑王者、好友画我、悦动音符、我最在行、星途WeGoing、猜画小歌、知乎答题王、腾讯中国象棋、跳一跳、题多多黄金版)
Stars: ✭ 1,216 (+966.67%)
BiliexpB站(bilibili 哔哩哔哩)助手:1.每日投币观看分享视频(快速升6级),签到(直播+漫画), 动态抽奖,风纪投票(免费得大会员),直播挂机(小心心),天选时刻(抽奖)等日常操作(云函数+Actions+docker)(多账户)。2.漫画视频番剧音乐下载器(CLI)。3.up主视频专栏音乐投稿的python实现
Stars: ✭ 952 (+735.09%)
SpiderA configurable web spider with a easy-to-use web console
Stars: ✭ 954 (+736.84%)
Luoo.spider🤖 A spider and server for Luoo.qy
Stars: ✭ 99 (-13.16%)
JspiderJSpider会每周更新至少一个网站的JS解密方式,欢迎 Star,交流微信:13298307816
Stars: ✭ 914 (+701.75%)
Capturercapture pictures from website like sina, lofter, huaban and so on
Stars: ✭ 76 (-33.33%)
Go DemoGo语言实例教程从入门到进阶,包括基础库使用、设计模式、面试易错点、工具类、对接第三方等
Stars: ✭ 881 (+672.81%)
ScralaUnmaintained 🐳 ☕️ 🕷 Scala crawler(spider) framework, inspired by scrapy, created by @gaocegege
Stars: ✭ 113 (-0.88%)
Abplayerhtml5Video Player for danmaku comments. ABPlayer in HTML5. ABPlayer核心构件以动态HTML编写的版本。向HTML5进发!HTML5弹幕播放器
Stars: ✭ 858 (+652.63%)
PholcusPholcus is a distributed high-concurrency crawler software written in pure golang
Stars: ✭ 6,990 (+6031.58%)
Douyinsdk抖音 SDK,数据采集,爬虫抓取不是梦
Stars: ✭ 99 (-13.16%)
Pakku.js拯救B站的弹幕体验!
Stars: ✭ 1,182 (+936.84%)
EasyloginA python3 package for writing spider more easily.
Stars: ✭ 26 (-77.19%)
Go spiderA golang spider
Stars: ✭ 25 (-78.07%)
Bilidrive☁️ 哔哩云,不支持任意文件的全速上传与下载
Stars: ✭ 1,183 (+937.72%)
ScrapitScraping scripts for various websites.
Stars: ✭ 25 (-78.07%)
Gopa AbandonedGOPA, a spider written in Go.(NOTE: this project moved to https://github.com/infinitbyte/gopa )
Stars: ✭ 98 (-14.04%)
Image DownloaderDownload images from Google, Bing, Baidu. 谷歌、百度、必应图片下载.
Stars: ✭ 1,173 (+928.95%)
Spiderpython crawler spider
Stars: ✭ 70 (-38.6%)
Zhihu Crawlerzhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目
Stars: ✭ 890 (+680.7%)
SeekerSeeker - another job board aggregator.
Stars: ✭ 16 (-85.96%)
TspiderYet Another Web Spider
Stars: ✭ 70 (-38.6%)
Anti Anti Spider越来越多的网站具有反爬虫特性,有的用图片隐藏关键数据,有的使用反人类的验证码,建立反反爬虫的代码仓库,通过与不同特性的网站做斗争(无恶意)提高技术。(欢迎提交难以采集的网站)(因工作原因,项目暂停)
Stars: ✭ 6,907 (+5958.77%)
Danmakulive video comments protocol and platform api
Stars: ✭ 70 (-38.6%)
TorbotDark Web OSINT Tool
Stars: ✭ 821 (+620.18%)
Bilibilihelper🌮 B 站自动领瓜子、直播挂机脚本,!!! 非 B 站后台源码 !!!
Stars: ✭ 823 (+621.93%)
Alipayspider ScrapyAlipaySpider on Scrapy(use chrome driver); 支付宝爬虫(基于Scrapy)
Stars: ✭ 70 (-38.6%)