yido

• yido -> 세종대왕 본명

• 한국어 자연어 처리 프로젝트

  • 자연어 처리의 가장 low level 프로젝트

  • 이부분은 자연어처리의 모든 부분에서 사용되므로 관련 품질과 사용성이 중요 함

• jdk 1.8

• https://github.com/wigoAI/yido

• splitter (문단, 문장 구분기), tokenizer( 토큰구분), newword(신조어), 오탈자교정, 전처리기 등 5개의 모듈로 구성된 프로젝트

modules

splitter (문단 문장 구분기)

• 문단구분과 문장구분등에 사용 됨

• 구분기는 이전 룰베이스 방식의 구분기가 성능이 좋은것을 확인함

  • 구분 데이터 정확도와 구분속도 등 모두 우수한 성능을 나타냄

  • 이전 방식을 관리방안이 쉽게 더 잘구성하여 관리하는 프로젝트로 진행함

  • 이전에는 문장 구분기 였는데 구분기로 잡아서 문단 구분에도 활용할 수 있게 함

tokenizer

토큰 구분

• tokenizer

신조어

오탈자교정

개체명 인식

전처리기

• 전반각

• 개인정보 처리 (삭제, 블라인드)

• 특수문자 변환

STT 한글형 기호

• 날짜 ( 7일전 1시간 등, 한글형 날짜)

• 한글형 금액

• 한글형 자동차번호

communication

blog, homepage

• https://wigo.ai/

• https://wigoai.github.io/

slack

• moaara.slack.com

• wigoailab.slack.com

main developer

• macle

  • github.com/macle86

• wjrmffldrhrl

  • github.com/wjrmffldrhrl