1. KLAY
Korean Language AnalYzer using KOMORAN's dictionaries.
- korean morphology analysis
- 한국어 형태소 분석기 입니다.
- 목표
- 좀 더 빠른 분석 속도
- 좀 더 자바스럽게 ...
- 품질 유지 (추후 품질 개선 계획)
- 개발 시작일 : 2019. 02 ~
- version : 0.1 (2019.02.26)
- version : 0.3 (2019.03.18)
- version : 0.3.2 (2022.01.18)
- version : 0.3.6 (2022.09.07) <-- current
- KOMORAN의 사전을 기반으로 분석하며, 사용하는 Data structure와 분석 방식은 상이합니다.
- Data Structure : KLAY의 분석 방식에 맞게 수정한 Lucene의 Trie를 사용합니다.
- KLAY is a thread-safe analyzer. (멀티 쓰레드 환경에서의 사용을 권장합니다.)
2. Architecture
Performance와 동시에 확장성을 고려하였으며 Readability에 많은 신경을 썼습니다. 그래서 조금 더 자바(Java)스럽게 Design하였습니다.
2-1. Tokenization
Chain of Responsibiility 패턴을 사용하여 구현하였습니다. ChainedTokenizationRule 인터페이스를 구현하여 Rule을 쉽게 추가할 수 있습니다. 현재는 아래와 같은 Rule을 순차적으로 적용하고 있습니다.
- UserDictionaryMatchRule : 사용자 사전에 매칭하는 Rule
- CharacterTypeAndLengthLimitRule : 문자타입 및 길이 제한 Rule
2-2. Analysis
마찬가지로 Chain of Responsibility 패턴을 사용하여 구현하였습니다. ChainedAnalysisRule 인터페이스를 구현하여 Rule을 쉽게 추가할 수 있습니다. 현재는 아래와 같은 Rule을 순차적으로 적용하고 있습니다.
- CanSkipRule : 분석없이 생략할 수 있는 Rule
- FWDRule : 기분석 사전으로 Fully 매칭하는 Rule
- AllPossibleCandidateRule : 미등록어 추정 Rule
- NARule : 분석 불가 Rule
HMM(Viterbi)는 MorphSequence 클래스를 사용하여 계산되어집니다.
2-3. Dictionary
Lucene의 Trie를 변형하여 적용하였습니다.
3. Example
//***********************************************************************
// 1. configuration and creating Klay object ...
//***********************************************************************
Klay klay = new Klay(Paths.get("data/configuration/klay.conf"));
//***********************************************************************
// 2. start morphological analysis.
//***********************************************************************
String text = "너무기대안하고갔나....................재밌게봤다";
Morphs morphs = klay.doKlay(text);
//***********************************************************************
// 3. print result.
//***********************************************************************
Iterator<Morph> iter = morphs.iterator();
while(iter.hasNext()) {
System.out.println(iter.next());
}4. Performance
4-1. 사양 및 데이터
- 프로세서 : Intel(R) Core(TM) i7-6700K CPU @ 4.00GHz, 4008Mhz, 4코어, 8 논리 프로세서
- 메모리 : 32.0 GB
- 분석 데이터 위치 : data/performance/test.txt
- 분석 데이터 건수 : 199,992 건
4-2. 결과 및 코드
- 사전 로딩 : 0.284 (s)
- 분석 시간 : 16.815 (s)
String src = "data/performance/test.txt";
Klay klay = new Klay(Paths.get("data/configuration/klay.conf"));
StopWatch watch = new StopWatch();
watch.start();
int count = 0;
try (BufferedReader in = new BufferedReader(new FileReader(src))) {
String line = null;
while((line = in.readLine()) != null) {
line = line.trim();
if(line.isEmpty()) continue;
klay.doKlay(line);
System.out.print("\r" + ++count);
}
}
watch.stop();
System.out.println("Analysis Time : " + watch.getTime(TimeUnit.MILLISECONDS) / 1000.0 + " (s)");5. Elasticsearch Plugin Download
- Download : https://github.com/ks-shim/klay-es-plugin
6. Resources Download
- Dictionary : https://github.com/ks-shim/klay-resources/tree/master/dictionary
- Configuration : https://github.com/ks-shim/klay-resources/tree/master/configuration
7. KLAY for python
8. Maven
<dependency>
<groupId>io.github.ks-shim.klay</groupId>
<artifactId>klay-common</artifactId>
<version>0.3.8</version>
</dependency>
<dependency>
<groupId>io.github.ks-shim.klay</groupId>
<artifactId>klay-dictionary</artifactId>
<version>0.3.8</version>
</dependency>
<dependency>
<groupId>io.github.ks-shim.klay</groupId>
<artifactId>klay-core</artifactId>
<version>0.3.8</version>
</dependency>
<repositories>
<repository>
<id>oos</id>
<url>https://s01.oss.sonatype.org/content/groups/public/</url>
</repository>
</repositories>
9. Dictionary build
- dictionary-build 모듈 : klay.dictionary.build.DictionaryBuilder 실행
public static void main(String[] args) throws Exception {
// 1. 사전에 환경설정 파일의 Raw 사전 정보를 변경합니다.
Properties config = new Properties();
config.load(Files.newInputStream(Paths.get("data/configuration/klay.conf")));
// 2. 관측확률/전이확률에 사용한 pos-frequency 정보를 읽어들입니다.
DictionaryTextSource posFreqSource = new DictionaryTextSource(Paths.get(config.getProperty("dictionary.grammar.path")));
// 3. 관측확률 사전의 소스/타겟 정보를 생성합니다.
DictionaryTextSource[] emissionSources = {
// *** must build DIC_WORD first !!
new DictionaryTextSource(
Paths.get(config.getProperty("dictionary.word.path")), DictionaryTextSource.DictionaryType.DIC_WORD),
new DictionaryTextSource(
Paths.get(config.getProperty("dictionary.irregular.path")), DictionaryTextSource.DictionaryType.DIC_IRREGULAR)
};
DictionaryBinaryTarget emissionTarget =
new DictionaryBinaryTarget(Paths.get(config.getProperty("dictionary.emission.path")));
// 4. 전이확률 사전의 소스/타켓 정보를 생성합니다.
DictionaryTextSource transitionSource =
new DictionaryTextSource(
Paths.get(config.getProperty("dictionary.grammar.path")), DictionaryTextSource.DictionaryType.GRAMMAR);
DictionaryBinaryTarget transitionTarget =
new DictionaryBinaryTarget(Paths.get(config.getProperty("dictionary.transition.path")));
// 5. 빌더를 생성하고 빌딩을 시작합니다.
DictionaryBuilder builder = new DictionaryBuilder.Builder()
.posFreqSource(posFreqSource)
.emissionSourcesAndTarget(emissionSources, emissionTarget)
.transitionSourceAndTarget(transitionSource, transitionTarget)
.build();
builder.buildAll();
}