인공지능/DeepLearning 검색 결과

해당 글 11건

[DeepLearning] 경사하강법

경사 하강법은 머신러닝/딥러닝 알고리즘을 학습시킬 때 사용하는 방법입니다. 기계 학습의 대부분은 학습하는 과정에서 최적의 값을 찾아내야됩니다. 신경망 또한 동일합니다. 여기서 말하는 최적의 값은 손실 함수가 최소값이 될 때의 값입니다. 그러나 어디가 최소값이 되는지 알기는 어렵습니다. 이 문제를 해결하기 위해 등장한 것이 경사 하강법입니다. 여기서 중요한 것은 함수의 값을 낮추는 지표는 기울기입니다. 보통 손실이 최소값이 되는 곳의 기울기는 0이 됩니다. 경사 하강법은 현재 위치에서 기울어진 방향으로 일정 거리만큼 이동합니다. 거기서 기울기를 구하고, 또 그 방향으로 일정 거리만큼 이동하고 기울기를 구합니다. 위의 과정을 계속 반복하여 기울기를 줄이는 것입니다. 개념적으로는 쉬워보이지만 이것을 구현하는 ..
인공지능/DeepLearning 2021. 3. 2. 19:42

[DeepLearning] L1 정규화, L2 정규화

오늘은 정규화에 대해 알아보겠습니다. 정규화의 목적은 과적합을 막기 위함입니다. 또한, 일반화에 대한 성능을 높이기 위함입니다. L1 정규화는 두 개의 벡터가 있다면, 두 개의 벡터를 빼고 절대값을 취한뒤 합한 값입니다. v1 = (1,2) v2 = (-1,-2) v1과 v2의 L1 정규화 결과는 |1-(-1)| + |2-(-2)| = 2 + 4 = 6 입니다. L2 정규화는 두 개의 벡터의 원소를 빼고, 제곱을 한 후, 더한 결과에 루트를 씌운것입니다. v2과 v2의 L2 정규화 결과는 (1-(-1))^2 + (2-(-2))^2 의 전 루트 입니다. 결과는 4 + 16 의 전체 루트기 때문에 루트 20입니다. 두 벡터의 직선거리입니다. 이상입니다.
인공지능/DeepLearning 2021. 2. 25. 20:04

[DeepLearning] 워드투벡터 ( Word2Vec )

딥러닝에서 사용하는 워드투벡터에 대해 알아보겠습니다. 워드투벡터는 자연어를 처리할때 사용하는 방법입니다. 여러 단어가 있으면 단어 하나에 의미를 부여해줍니다. 컴퓨터는 숫자밖에 인식을 못하기 때문에 단어에 숫자를 인식해 주되, 그것을 벡터화 시켜줍니다. 이것이 바로 워드투벡터입니다. 워드투벡터는 벡터화를 시킨 단어들끼리의 연관성을 찾습니다. 벡터 간의 거리가 가까울수록 연관이 있는 단어다 라고 이해하시면됩니다. 이론적으로는 이해하기 쉽지만, 이것을 수학적으로 이해하기에는 공부를 좀 해야됩니다. 특히 수학적인 공식이 많이 나오기 때문에 깊게 들어가시려면 이런 부분에 대한 공부가 많이 필요합니다. 그런면에서는 진입장벽이 높다고 느낄 수도 있고, 제 기준에서는 상당히 어렵고, 재미가 없습니다. 저는 이론적인 ..
인공지능/DeepLearning 2021. 2. 25. 00:13

[DeepLearning] 차원 축소

오늘은 차원 축소에 대해 알아보겠습니다. 왜 차원 축소가 필요할까요? 예를 한번 들어보겠습니다. 이미지를 예로 들면, 스마트폰에 대한 데이터 10개가 있고, TV에 대한 데이터 10개가 있습니다. 1차원적으로 봤을때 분류를 위해서 왼쪽에는 스마트폰, 오른쪽에는 TV로 분류 할 수 있습니다. 1차원적으로 구분을 할 수 있지만, 차원을 높이게되면 구분의 정확성을 높일 수 있습니다. 그렇지만 차원이 높다고해서 구분이 잘된다고 할 수 없습니다. 비례하지는 않습니다. 그에 대한 적정 차원을 찾는게 중요합니다. 차원의 저주라는 용어가 있는데 이것이 바로 이에 해당합니다. 차원이 증가하면서 차원의 수가 학습데이터수보다 많아지면서 성능에 문제가 생기는 현상입니다. 이 말인 즉슨, 필요없는 빈 공간이 많아진다는 뜻이기도..
인공지능/DeepLearning 2021. 2. 22. 22:32

[DeepLearning] EDA 탐색적 데이터 분석

오늘은 딥러닝에서 데이터 분석 방법인 DEA에 대해 알아보겠습니다. EDA ( Exploratory Data Analysis ) 란 데이터가 들어왔을 때, 이 데이터를 여러가지로 관찰하고 이해하는 자료 분석 방법입니다. 통계학에서는 정보를 추출하고, 가설을 검정 하는 등에 중점을 두었기 때문에 데이터가 가지고 있는 의미를 찾는데 어려움이 있었습니다. EDA는 이러한 부분을 보완하고, 데이터만으로도 충분히 정보를 찾을 수 있도록 하기 위하여 만들어 졌습니다. 그렇게 때문에 데이터를 좀더 직관적으로 볼 수 있습니다. 다른 자료 없이 데이터만을 분석하기 때문에 이 데이터가 어떤 의미를 가지고 있는지 더욱더 잘 이해할 수 있습니다.
인공지능/DeepLearning 2021. 2. 17. 23:34