GitPlanet

Cheap and reliable Node.js hosting starts at $3/month, and $1/month static HTML hosting

Created with love in Canada, visit hostnodejs.com today

Feel like to post an Ad? Learn Details
All Projects → toobigdata → Papa

toobigdata / Papa

Licence: mit
一个浏览器端数据爬虫，做每个人的数据助手

Programming Languages

javascript
184084 projects - #8 most used programming language

Labels

chromedata-analysisspider

Projects that are alternatives of or similar to Papa

Qzoneexport
QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存
Stars: ✭ 456 (+214.48%)
Mutual labels:  spider, chrome
Infospider
INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。
Stars: ✭ 5,984 (+4026.9%)
Mutual labels:  spider, chrome
Puppeteer Walker
a puppeteer walker 🕷 🕸
Stars: ✭ 78 (-46.21%)
Mutual labels:  spider, chrome
Synology Download Manager
An open source browser extension for adding/managing download tasks to your Synology DiskStation.
Stars: ✭ 138 (-4.83%)
Mutual labels:  chrome
Data Forge Js
JavaScript data transformation and analysis toolkit inspired by Pandas and LINQ.
Stars: ✭ 139 (-4.14%)
Mutual labels:  data-analysis
Crawler China Mainland Universities
中国大陆大学列表爬虫
Stars: ✭ 143 (-1.38%)
Mutual labels:  spider
Puppeteer Sharp
Headless Chrome .NET API
Stars: ✭ 2,122 (+1363.45%)
Mutual labels:  chrome
Padasip
Python Adaptive Signal Processing
Stars: ✭ 138 (-4.83%)
Mutual labels:  data-analysis
Chrome Control
A JXA script and an Alfred Workflow for controlling Google Chrome
Stars: ✭ 144 (-0.69%)
Mutual labels:  chrome
Movie Compare
豆瓣电影的评分靠谱吗？——一点数据分析的视角
Stars: ✭ 141 (-2.76%)
Mutual labels:  data-analysis
Qiandao
🌟⏳🌟 各种网站的签到（停止维护）
Stars: ✭ 141 (-2.76%)
Mutual labels:  spider
Extension
Simple browser extension for managing accounts in a browser and allowing the signing of extrinsics using these accounts. Also provides a simple interface for compliant extensions for dapps.
Stars: ✭ 139 (-4.14%)
Mutual labels:  chrome
Machine learning for good
Machine learning fundamentals lesson in interactive notebooks
Stars: ✭ 142 (-2.07%)
Mutual labels:  data-analysis
Keepassbrowserimporter
KeePass 2.x plugin which imports credentials from various browsers.
Stars: ✭ 139 (-4.14%)
Mutual labels:  chrome
Timecat
A Magical Web Recorder & Player 🖥
Stars: ✭ 1,955 (+1248.28%)
Mutual labels:  chrome
Go spider
[爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to an Individualized crawler easily or you can use the default crawl components only.
Stars: ✭ 1,745 (+1103.45%)
Mutual labels:  spider
Electron Extensions
Implementation of Chrome extension APIs for Electron
Stars: ✭ 143 (-1.38%)
Mutual labels:  chrome
Asar
Simple extensive tar-like archive format with indexing
Stars: ✭ 1,884 (+1199.31%)
Mutual labels:  chrome
Amazonbigspider
😱Full Automatic Amazon Distributed Spider | 亚马逊分布式四国际站采集选款产品|账号admin,密码adminadmin
Stars: ✭ 140 (-3.45%)
Mutual labels:  spider
Data Analysis
主要是爬虫与数据分析项目总结，外加建模与机器学习，模型的评估。
Stars: ✭ 142 (-2.07%)
Mutual labels:  data-analysis
View All Similar Projects ➔

TooBigData

爬爬是你的个人数据助手，帮你在浏览器中爬到一些需要的数据。

它是一款采集数据的 Chrome 插件，可在 QQ 浏览器、360 浏览器、搜狗浏览器等 Chromium 内核的浏览器中使用。

支持数据源

  • 微信文章
  • 淘宝众筹
  • 今日头条文章
  • 豆瓣电影
  • 大众点评
  • 链家租房
  • 我爱我家租房
  • 京东商品
  • 京东商品评论
  • 淘宝商品
  • 天猫商品
  • 天猫商品评论
  • 亚马逊商品
  • 亚马逊商品评论
  • Kickstarter 评论
  • Kickstarter 用户
  • 微博用户信息
  • 微博用户关注
  • 抖音小视频
  • 火山小视频

安装

演示

数据网站

http://app.toobigdata.com/

使用视频

https://www.youtube.com/watch?v=NCUJCnFZrAw

https://www.youtube.com/watch?v=7LY7CDP4k34

特色功能

  • 可以在网页上显示微信文章的阅读点赞评论打赏数据
  • 微信文章分钟监测及文章回采
  • 查看收藏夹数据，分层级显示
  • 内置通用的URL打开器，可辅助自动爬数
  • 自动关闭已爬页面
  • 插件开源，无限扩展

动手改造

要添加更多的数据源，可通过以下方式完成

  1. 修改 app/scripts/config.js，添加数据源定义
  2. 在 app/scripts/track/ 目录下，添加对应的采集脚本

如果想自定义接收数据的网关，可修改 app/scripts/background.js 中的 data_upload_url 变量

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].