[DeepLearning] 자연어 전처리(1) 오늘은 자연어 전처리에 대해 알아보겠습니다. 딥러닝에서 말하는 자연어는 사람들이 일상적으로 쓰는 언어를 말합니다. 이와 반대다는 말로는 인공어가 있습니다. 인공어는 자연어를 인공적으로 만든 언어입니다. 딥러닝에서는 이 자연어를 컴퓨터가 인식할 수 있도록 처리해야합니다. 자연어 처리는 여러 분야에서 사용됩니다. 예를 들면 음성 인식, 언어 번역, 텍스트 분류 등입니다. 딥러닝은 자연어를 처리하여 여러 가지에 응용이 가능합니다. 자연어를 컴퓨터가 인식하도록 하려면 그 전에 해야할 일이 있습니다. 주어진 자연어를 무작정 처리하려면 효율적이지 못하고, 시간도 낭비될 수 있습니다. 바로 전처리 입니다. 자연어 전처리 종류에 대해 알아보겠습니다. 1. 토큰화 자연어를 단어나 문자 단위로 나눈 것이 토큰입니다. 자연.. 인공지능/DeepLearning 4년 전
