목록2024/05/22 (1)

Tech Trail

[NLP(자연어 처리)] 검색 엔진을 위한 TF-IDF와 Similarity 연산

검색 엔진을 위한 TF-IDF와 Similarity 연산검색 엔진의 핵심은 사용자가 입력한 문장과 유사한 문서를 찾아내는 것입니다. 이를 위해 TF-IDF와 Similarity 연산을 조합하여 활용합니다. TF-IDF란?TF-IDF(Term Frequency-Inverse Document Frequency)는 문서 내 단어의 중요도를 나타내는 통계적 수치입니다.Term Frequency(TF): 특정 단어가 문서 내에 얼마나 자주 등장하는지 측정합니다.Inverse Document Frequency(IDF): 단어가 전체 문서에서 얼마나 흔하지 않은지를 측정합니다.TF-IDF를 사용한 키워드 추출예를 들어, 1000개의 문서에서 각 문서당 10개의 키워드를 TF-IDF로 추출한다고 가정해봅시다. 새로운 ..
AI/NLP 2024. 5. 22. 18:00
이전 Prev 1 Next 다음