All Projects → liuli-io → liuli

liuli-io / liuli

Licence: Apache-2.0 license
一站式构建多源、干净、个性化的阅读环境(Build a multi-source, clean and personalized reading environment in one stop.)

Programming Languages

python
139335 projects - #7 most used programming language
HTML
75241 projects
Jupyter Notebook
11667 projects
javascript
184084 projects - #8 most used programming language
shell
77523 projects
Vue
7211 projects
Dockerfile
14818 projects

Projects that are alternatives of or similar to liuli

Funbook Old
I have a dream, to be a novelist someday.
Stars: ✭ 65 (-89.63%)
Mutual labels:  novel
Renpy
The Ren'Py Visual Novel Engine
Stars: ✭ 2,734 (+336.04%)
Mutual labels:  novel
Translator3000
Automatic translator of games made on Ren'Py engine.
Stars: ✭ 78 (-87.56%)
Mutual labels:  novel
Typenovel
A simple markup language to write novel with types.
Stars: ✭ 80 (-87.24%)
Mutual labels:  novel
Novel
基于 Laravel 5.2 的小说网站
Stars: ✭ 172 (-72.57%)
Mutual labels:  novel
The-Swallows
Novel-generator and generated novels for NaNoGenMo 2013
Stars: ✭ 32 (-94.9%)
Mutual labels:  novel
Pixivbatchdownloader
Chrome 扩展,批量下载 Pixiv 的插画和小说。过滤作品、下载时重命名、转换动态图片等。Powerful Pixiv batch downloader. Batch download artworks and novels, filter works, rename when downloading, convert animated images, and more.
Stars: ✭ 1,109 (+76.87%)
Mutual labels:  novel
chinese-novel
📙 Chinese novel database 最全的中国古典小说数据库。
Stars: ✭ 131 (-79.11%)
Mutual labels:  novel
Ycool
小说阅读APP
Stars: ✭ 185 (-70.49%)
Mutual labels:  novel
poet ready system
这是一个说阅读网站,jdk 1.8,使用的框架 Spring boot 和 Mybatis ,前端偷懒使用的事layuiAdmin的后台模板框架,主要是一个爬小说,看小说的。 主要有OSS 上传,JSOUP 爬取小说信息, 腾讯云短信服务,简单的权限管理,Echarts 图表,等基础的功能。 写着作为今年毕业设计的。
Stars: ✭ 19 (-96.97%)
Mutual labels:  novel
Doubinovel
逗逼阅读是一个基于其他搜索引擎构建的小说搜索引擎
Stars: ✭ 94 (-85.01%)
Mutual labels:  novel
Easyreader
基于React native 的开源小说阅读器
Stars: ✭ 139 (-77.83%)
Mutual labels:  novel
fan-ren-xiu-xian-zhuan
凡人修仙传(fanrenxiuxianzhuan)的资源汇总,谨献给“凡友”们。
Stars: ✭ 32 (-94.9%)
Mutual labels:  novel
Hakuneko
Manga & Anime Downloader for Linux, Windows & MacOS
Stars: ✭ 1,203 (+91.87%)
Mutual labels:  novel
extensions
Shosetsu - Extensions - Universe
Stars: ✭ 51 (-91.87%)
Mutual labels:  novel
Novel Plus
小说精品屋-plus是一个多端(PC、WAP)阅读、功能完善的原创文学CMS系统,由前台门户系统、作家后台管理系统、平台后台管理系统、爬虫管理系统等多个子系统构成,支持多模版、会员充值、订阅模式、新闻发布和实时统计报表等功能,新书自动入库,老书自动更新。
Stars: ✭ 1,122 (+78.95%)
Mutual labels:  novel
Fiction house
小说精品屋是一个多平台(web、安卓app、微信小程序)、功能完善的屏幕自适应小说漫画连载系统,包含精品小说专区、轻小说专区和漫画专区。包括小说/漫画分类、小说/漫画搜索、小说/漫画排行、完本小说/漫画、小说/漫画评分、小说/漫画在线阅读、小说/漫画书架、小说/漫画阅读记录、小说下载、小说弹幕、小说/漫画自动采集/更新/纠错、小说内容自动分享到微博、邮件自动推广、链接自动推送到百度搜索引擎等功能。
Stars: ✭ 2,710 (+332.22%)
Mutual labels:  novel
React-Visual-Novel
A visual novel application made with React.
Stars: ✭ 26 (-95.85%)
Mutual labels:  novel
NovelLibrary
One stop for reading all novels
Stars: ✭ 93 (-85.17%)
Mutual labels:  novel
novelsave
This is a tool to download and convert novels from popular sites to e-books.
Stars: ✭ 25 (-96.01%)
Mutual labels:  novel

Liuli logo

Liuli

📖 一站式构建多源、干净、个性化的阅读环境

琉璃开净界,薜荔启禅关

特性

使用Liuli,你可以得到:

  • 配置化开发,自定义输入、处理、输出
  • 信息备份(支持跨源): Github, MongoDB
  • 机器学习赋能:验证码识别、广告分类、智能标签
  • 阅读源管控,构建知识管理平台
  • 官方案例技术支持

使用场景:

🍥 使用

教程[使用前必读]:

快速开始,请先确保安装Docker

mkdir liuli && cd liuli
# 数据库目录
mkdir mongodb_data
# 任务配置目录
mkdir liuli_config
wget -O liuli_config/default.json https://raw.githubusercontent.com/howie6879/liuli/main/liuli_config/default.json
# 配置 pro.env 具体查看 doc/02.环境变量.md
vim pro.env
# 下载 docker-compose
wget https://raw.githubusercontent.com/howie6879/liuli/main/docker-compose.yaml
# 启动
docker-compose up -d

代码安装使用过程如下:

# 确保有Python3.7+环境
git clone https://github.com/liuli-io/liuli.git --depth=1
cd liuli

# 创建基础环境
pipenv install --python={your_python3.7+_path} --dev  --skip-lock
# 配置.env 具体查看 doc/02.环境变量.md 启动调度
pipenv run dev_schedule

启动成功日志如下:

Loading .env environment variables...
[2021:12:23 23:08:35] INFO  Liuli Schedule started successfully :)
[2021:12:23 23:08:35] INFO  Liuli Schedule time: 00:00 06:00
[2021:12:23 23:09:36] INFO  Liuli playwright 匹配公众号 老胡的储物柜(howie_locker) 成功! 正在提取最新文章: 我的周刊(第018期)
[2021:12:23 23:09:39] INFO  Liuli 公众号文章持久化成功! 👉 老胡的储物柜
[2021:12:23 23:09:40] INFO  Liuli 🤗 微信公众号文章更新完毕(1/1)

推送效果如图:

🤔 实现

大概流程如下:

liuli_process

简单解释一下:

  • 采集器:监控各自关注的公众号、书籍或者博客源等自定义阅读源,以统一标准格式流入Liuli作为输入源;
  • 处理器:对目标内容进行自定义处理,如基于历史广告数据,利用机器学习实现一个广告分类器自动打标签,或者引入钩子函数在相关节点执行等;
  • 分发器:依靠接口层进行数据请求&响应,为使用者提供个性化配置,然后根据配置自动进行分发,将干净的文章流向微信、钉钉、TG、RSS客户端甚至自建网站;
  • 备份器:将处理后的文章进行备份,如持久化到数据库或者GitHub等。

这样做就实现了干净阅读环境的构建,衍生一下,基于获取的数据,可做的事情有很多,大家不妨发散一下思路。

开发进度看板:

  • v0.2.0: 实现基础功能,保证常规场景解决方案可应用
  • v0.3.0: 实现采集器自定义,用户所见即可采集

🤖 帮助

为了提升模型的识别准确率,我希望大家能尽力贡献一些广告样本,请看样本文件:.files/datasets/ads.csv,我设定格式如下:

title url is_process
广告文章标题 广告文章连接 0

字段说明:

  • title:文章标题
  • url:文章链接,如果微信文章想、请先验证是否失效
  • is_process:表示是否进行样本处理,默认填0即可

来个实例:

liuli_ads_csv_demo

一般广告会重复在多个公众号投放,填写的时候麻烦查一下是否存在此条记录,希望大家能一起合力贡献,亲,来个 PR 贡献你的力量吧!

👀 致谢

感谢以下开源项目:

  • Flask: web框架
  • Vue: 渐进式JavaScript框架
  • Ruia: 异步爬虫框架(自研自用)
  • playwright: 使用浏览器进行数据抓取

以上仅列出比较核心的开源依赖,更多第三方依赖请见Pipfile文件。

您任何PR都是对Liuli项目的大力支持,非常感谢以下开发者的贡献(排名不分先后):

👉 关于

欢迎一起交流(关注入群):

img
Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].