인공지능 검색 결과

해당 글 19건

[인공지능] NPU vs GPU

오랜만에 인공지능 쪽 블로그를 포스팅 하겠습니다. 인공지능에 사용되는 하드웨어인 NPU와 GPU에 대해 알아보겠습니다. 둘 다 모두 병렬 처리 기능을 가지고 있으며, 딥 러닝 모델의 연산 처리 속도를 높일 수 있는 고성능 하드웨어입니다. 그 두가지의 차이점은 아래와 같습니다. NPU는 인공 신경망 처리를 위해 특별히 최적화된 하드웨어입니다. 딥 러닝 모델의 연산에 특화되어 있습니다. 반면에 GPU는 그래픽 처리를 위해 설계된 하드웨어입니다. 병렬 처리에 강점을 가지며 일반적으로 고성능 컴퓨팅에 사용됩니다. 따라서 GPU는 딥 러닝 모델의 연산 처리 속도를 향상시킬 수 있지만, NPU만큼 최적화되어 있지는 않습니다. NPU는 전력 소비가 적으며, 모바일 기기나 임베디드 시스템에서도 딥 러닝을 수행할 수 있..
인공지능 2023. 3. 16. 22:18

[DeepLearning] 경사하강법

경사 하강법은 머신러닝/딥러닝 알고리즘을 학습시킬 때 사용하는 방법입니다. 기계 학습의 대부분은 학습하는 과정에서 최적의 값을 찾아내야됩니다. 신경망 또한 동일합니다. 여기서 말하는 최적의 값은 손실 함수가 최소값이 될 때의 값입니다. 그러나 어디가 최소값이 되는지 알기는 어렵습니다. 이 문제를 해결하기 위해 등장한 것이 경사 하강법입니다. 여기서 중요한 것은 함수의 값을 낮추는 지표는 기울기입니다. 보통 손실이 최소값이 되는 곳의 기울기는 0이 됩니다. 경사 하강법은 현재 위치에서 기울어진 방향으로 일정 거리만큼 이동합니다. 거기서 기울기를 구하고, 또 그 방향으로 일정 거리만큼 이동하고 기울기를 구합니다. 위의 과정을 계속 반복하여 기울기를 줄이는 것입니다. 개념적으로는 쉬워보이지만 이것을 구현하는 ..
인공지능/DeepLearning 2021. 3. 2. 19:42

[DeepLearning] L1 정규화, L2 정규화

오늘은 정규화에 대해 알아보겠습니다. 정규화의 목적은 과적합을 막기 위함입니다. 또한, 일반화에 대한 성능을 높이기 위함입니다. L1 정규화는 두 개의 벡터가 있다면, 두 개의 벡터를 빼고 절대값을 취한뒤 합한 값입니다. v1 = (1,2) v2 = (-1,-2) v1과 v2의 L1 정규화 결과는 |1-(-1)| + |2-(-2)| = 2 + 4 = 6 입니다. L2 정규화는 두 개의 벡터의 원소를 빼고, 제곱을 한 후, 더한 결과에 루트를 씌운것입니다. v2과 v2의 L2 정규화 결과는 (1-(-1))^2 + (2-(-2))^2 의 전 루트 입니다. 결과는 4 + 16 의 전체 루트기 때문에 루트 20입니다. 두 벡터의 직선거리입니다. 이상입니다.
인공지능/DeepLearning 2021. 2. 25. 20:04

[DeepLearning] 워드투벡터 ( Word2Vec )

딥러닝에서 사용하는 워드투벡터에 대해 알아보겠습니다. 워드투벡터는 자연어를 처리할때 사용하는 방법입니다. 여러 단어가 있으면 단어 하나에 의미를 부여해줍니다. 컴퓨터는 숫자밖에 인식을 못하기 때문에 단어에 숫자를 인식해 주되, 그것을 벡터화 시켜줍니다. 이것이 바로 워드투벡터입니다. 워드투벡터는 벡터화를 시킨 단어들끼리의 연관성을 찾습니다. 벡터 간의 거리가 가까울수록 연관이 있는 단어다 라고 이해하시면됩니다. 이론적으로는 이해하기 쉽지만, 이것을 수학적으로 이해하기에는 공부를 좀 해야됩니다. 특히 수학적인 공식이 많이 나오기 때문에 깊게 들어가시려면 이런 부분에 대한 공부가 많이 필요합니다. 그런면에서는 진입장벽이 높다고 느낄 수도 있고, 제 기준에서는 상당히 어렵고, 재미가 없습니다. 저는 이론적인 ..
인공지능/DeepLearning 2021. 2. 25. 00:13

[DeepLearning] 차원 축소

오늘은 차원 축소에 대해 알아보겠습니다. 왜 차원 축소가 필요할까요? 예를 한번 들어보겠습니다. 이미지를 예로 들면, 스마트폰에 대한 데이터 10개가 있고, TV에 대한 데이터 10개가 있습니다. 1차원적으로 봤을때 분류를 위해서 왼쪽에는 스마트폰, 오른쪽에는 TV로 분류 할 수 있습니다. 1차원적으로 구분을 할 수 있지만, 차원을 높이게되면 구분의 정확성을 높일 수 있습니다. 그렇지만 차원이 높다고해서 구분이 잘된다고 할 수 없습니다. 비례하지는 않습니다. 그에 대한 적정 차원을 찾는게 중요합니다. 차원의 저주라는 용어가 있는데 이것이 바로 이에 해당합니다. 차원이 증가하면서 차원의 수가 학습데이터수보다 많아지면서 성능에 문제가 생기는 현상입니다. 이 말인 즉슨, 필요없는 빈 공간이 많아진다는 뜻이기도..
인공지능/DeepLearning 2021. 2. 22. 22:32