dongrixinyu / Jionlp

   ——JioNLP：中文 NLP 预处理工具包 A Python Lib for Chinese NLP Preprocessing

   pip install jionlp

• 做 NLP 任务，需要清洗、过滤语料？用 JioNLP
• 做 NLP 任务，需要做信息抽取？用 JioNLP
• 做 NLP 任务，需要数据增强？用 JioNLP
• 做 NLP 任务，需要给模型添加偏旁、拼音、词典、繁体转换信息？用 JioNLP

总之，JioNLP 提供 NLP 任务预处理功能，准确、高效、零使用门槛，并提供一步到位的查阅入口。

功能主要包括：文本清洗，去除HTML标签、异常字符、冗余字符，转换全角字母、数字、空格为半角，抽取及删除E-mail及域名、电话号码、QQ号、括号内容、身份证号、IP地址、URL超链接、货币金额与单位，金额数字转大写汉字，解析身份证号信息、手机号码归属地、座机区号归属地、手机号码运营商，按行快速读写文件，（多功能）停用词过滤，（优化的）分句，地址解析，新闻地域识别，繁简体转换，汉字转拼音，汉字偏旁、字形、四角编码、五笔编码拆解，基于词典的情感分析，色情数据过滤，反动数据过滤，关键短语抽取，抽取式文本摘要，成语接龙，成语词典、歇后语词典、新华字典、新华词典、停用词典、中国地名词典、中国县级地名变更词典、世界地名词典，基于词典的NER，NER的字、词级别转换，NER的entity和tag格式转换，NER模型的预测阶段加速并行工具集，NER标注和模型预测的结果差异对比，NER标注数据集分割与统计，NER实体收集、文本分类标注数据集的分割与统计、回译数据增强、相邻近汉字换位数据增强、同音词替换数据增强、随机增删字符数据增强、实体替换数据增强

Update 2021-03-18

新增 实体替换数据增强

根据实体词典，对文本中的实体进行替换。

>>> import jionlp as jio
>>> replace_entity = jio.ReplaceEntity(
        {'Person':{'张守住': 3, '三矢水介':1, '刘美婷':2},
         'Country':{'马来西亚': 2}})
>>> aug_texts, aug_entities = jio.replace_entity(
              '一位名叫“伊藤慧太”的男子身着日本匠人常穿的作务衣，面带微笑，用日语侃侃而谈',
              [{'text': '伊藤慧太', 'type': 'Person', 'offset': (5, 9)},
               {'text': '日本', 'type': 'Country', 'offset': (15, 17)}])
>>> print(aug_texts, aug_entities)

# aug_texts:
# ['一位名叫“伊藤慧太”的男子身着马来西亚匠人常穿的作务衣，面带微笑，用日语侃侃而谈',
#  '一位名叫“刘美婷”的男子身着日本匠人常穿的作务衣，面带微笑，用日语侃侃而谈',  # 语义矛盾，但不影响任务训练
#  '一位名叫“张守住”的男子身着日本匠人常穿的作务衣，面带微笑，用日语侃侃而谈'],
# aug_entities:
# [[{'text': '伊藤慧太', 'type': 'Person', 'offset': (5, 9)},
#   {'text': '马来西亚', 'type': 'Country', 'offset': [15, 19]}],
#  [{'text': '刘美婷', 'type': 'Person', 'offset': [5, 8]},
#   {'text': '日本', 'type': 'Country', 'offset': (14, 16)}],
#  [{'text': '张守住', 'type': 'Person', 'offset': [5, 8]},
#   {'text': '日本', 'type': 'Country', 'offset': (14, 16)}]])

安装 Installation

• python>=3.6 github 版本略领先于 pip

$ git clone https://github.com/dongrixinyu/JioNLP
$ cd ./JioNLP
$ pip install .

• pip 安装

$ pip install jionlp

使用 Features

• 导入工具包，查看工具包的主要功能与函数注释

>>> import jionlp as jio
>>> jio.help()  # 输入关键词搜索工具包是否包含某功能，如输入“回译”
>>> dir(jio)
>>> print(jio.extract_parentheses.__doc__)

• 在 Linux 系统，可使用以下命令做搜索：

$ jio_help

1.小工具集 Gadgets

2.数据增强

• 文本数据增强各方法说明

3.正则抽取与解析

4.文件读写工具

5.词典加载与使用

6.实体识别(NER)算法辅助工具集

• 工具包 NER 数据规定说明

7.文本分类

8.情感分析

初衷

• 开发 NLP 模型，预处理至关重要且非常耗时。本工具包能快速辅助工程师完成各种琐碎的预处理操作，加速开发进度，把有限的精力用在思考而非 code 上。
• 如有功能建议、bug，可通过 issue 按模板提出。
• 如感兴趣合作完善本工具包，请参考 TODO.txt 文件进行功能添加。

做NLP不易，欢迎加入自然语言处理 Wechat 交流群 (#^.^#)