비슷한 뉴스 모아서 보기

관련기능은 아래 api를 통하여 테스트해볼 수 있습니다

• grouping

비슷한 문서를 보는 기능은 내부적으로는 군집화 기능을 사용하여 문서를 그룹화 합니다.

이때 사용하는 자원의 양이 적지 않습니다. 일반적인 군집 기능을 활용하려면 (n-1)*(n-1) 의 내용비교가 들어가게 됩니다.

검색된 문서가 1~1000건까지는 가능할 수 있으나 이보다 큰경우에 대해서는 순간 군집에 대한 자원 사용은 전체 시스템에 부하를 주게 됩니다.

관련 기능이 가능하려면 미리 군집화를 하고 새로들어온 문서에 대해서는 군집에 속하는 기능을 만들어야 합니다

하지만 위에 방법에도 오차가 발생할 수 있습니다 군집은 10000건과 10001건의 군집결과가 달라질 수 있습니다.

그래서 미리 군집화를 하여 서비스에서는 실시간 문서에 대해서는 군집된 문서로 들어가게 하고 특정시간마다 전체 데이터를 다시 군집화 하는 방식으로 서비스 해야합니다.

관련해서는 사용자가 적을때 서비스 하기에는 서버 부하가 크므로 사용자가 많아지면 그에따른 분석서버를 늘릴 수 있을때 다시 고민해 보는게 좋다고 생각됩니다.