tokenizer

다른 core 기능을 open source project로 진행하려면 관련 기능이 open source화 되어야 하는데 기존 wigo는 open source 화 하기가 어려워서 mecab을 사용하다 발전시키는 전략을 선택함

• 깃허브

  • https://github.com/wigoAI/yido/tree/master/tokenizer

• jdk 1.8

  • 15를 사용하고 싶지만, 아직 많은 프로젝트가 1.8이므로 초기버젼은 1.8로 시작

• mecab

  • mecab-0.996-ko-0.9.2

  • mecab-ko-dic-2.1.1-20180720

  • mecab-java-0.996