n-gram

Data

[전문검색] - 형태소 분석의 이해

-지난내용- https://kyeum-d.tistory.com/29 [MySQL] Like 검색 vs 전문검색(n-gram) 들어가기에 앞서... 교육강의 플랫폼 infrun의 강의 검색 기능을 개발하던 중 강의명에 대한 검색을 Like절을 사용하여 처리하였고 이러한 질문을 받았습니다. Like 검색을 사용 했을 때 DB에서 어떤 kyeum-d.tistory.com 들어가며... 지난시간에 Like검색과 전문검색에 대해 비교하는 시간을 가졌습니다. 그런데 좀 더 근본적인 의문점부터 해결해야합니다. 우리가 전문검색을 사용해야하는 이유가 뭘까요? 오늘은 전문검색이 등장하게 된 이유와 n-gram의 문제점을 알아보고 그 문제점을 형태소 분석을 사용하면 어떻게 해결 할 수 있는지 알아보겠습니다. 전문검색이 왜 ..

Data

[전문검색] - Like 검색 vs 전문검색(n-gram)

들어가기에 앞서... 교육강의 플랫폼 infrun의 강의 검색 기능을 개발하던 중 강의명에 대한 검색을 Like절을 사용하여 처리하였고 이러한 질문을 받았습니다. Like 검색을 사용 했을 때 DB에서 어떤 일이 발생할까요? 막연히 앞뒤로 %가 붙은 like 검색은 인덱스를 타지 않고 느린 검색이다 라고만 알고 있었는데 원론적인 질문에 쉽게 답을 할 수 없었고 실제로 어떤 차이가 있는지 궁금해졌습니다. 그래서 오늘은 RealMySQL 8.0 에서 읽은 내용을 기반으로 Like 검색의 문제점과 문제점을 해결하기 위한 전문검색의 차이를 알아보는 시간을 가져보겠습니다. 테스트 해 볼 상황 Like 검색 (%~%) 전문 검색(n-gram 알고리즘) * 테스트 데이터는 공공데이터 포털의 코로나 뉴스 집합 데이터를..

동겸동
'n-gram' 태그의 글 목록