WEIBO DAILY HOTKEY
This repo will get hotkeys for sina weibo, and upload it to this github repo.
本项目会定期从新浪微博中获取热搜关键词，并将数据回传到本项目。
NOTICE
本项目预期会在 WeiboDaily 进行重构，施工中
DATA
Click Here to read daily hotkey data.
点击这里阅读每日微博热搜词数据。
Requirements
Softwares
apt-get install python3
apt-get install python3-pip
apt-get install redis-serverPython Modules
pip3 install requests
pip3 install GitPython
pip3 install lxml
pip3 install redisCrawler Info
Base URL
https://s.weibo.com/top/summary?cate=realtimehot
Shouldn't login.
Parser
lxml module for python and regexp tools.
Database
Redis for daily data and MySQL for API data(//TODO).
Project Menu Tree
--
|/conf 配置文件
|/data 爬取数据
|/util 工具函数
|---->|/base 基础库
|---->|/configcenter 配置中心
|---->|/constant 常量
|/cronjob 定时任务
|---->|/datacenter 数据中心
|-------->|/database 数据库数据
|-------->|/cache 缓存数据
|---->|/crawler 爬虫中心
|---->|/tool 定时工具
|/service //TODO 服务中心
|cronjob.py 定时抓取、数据比对脚本
|update.py 定时更新 repo 脚本
|update_code.py 手动更新 github 代码脚本 //FIXME (git add . 的实现有 bug)
-------------------------------