이제 데이터 공부 안하는 블로그

Image Segmentation 이미지 분할 Image Segmentation은 이미지에서 특정 클래스에 속하는 각 픽셀을 분류하는 과정을 말한다. 아래 사진에서 보는 것과 같이 Image Segmentation은 이미지에서 동일한 의미를 갖는 것끼리 픽셀 단위로 분류해준다. 자동차, 신호등, 사람, 표지판 등으로 이미지가 분할된 것을 볼 수 있다. Image Segmentation은 의료 영상, 자율주행차량, 보안, 위성, 항공사진, 가상메이크업, 이미지 검색 등의 분야에서 많이 응용 되고 있다. 이미지 분류에는 Semantic segmentation 과 Instance segmentation 이렇게 2가지 종류의 기술이 있다. Semantic segmentation : 특정 레이블에 속하는 각 픽셀..

* 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. Convolution Neural Network (CNN, 합성곱 신경망) CNN은 이미지 처리에 뛰어난 성능을 보여주는 신경망이다. CNN layer(합성곱 층)은 연산을 통해서 이미지의 특징을 추출하는 역할을 한다. 합성곱은 커널(kernel) 또는 필터(fileter) 라는 n x n 크기의 행렬로 높이(height) x 너비(width) 크기의 이미지를 처음부터 끝까지 겹치며 훑으면서 n x m 크기의 겹쳐지는 부분의 각 이미지와 커널의 원소의 값을 곱해서 모두 더한 값을 출력하는 것을 말한다. Filter or Kernel : 가중치 (weights parameters)의 집합으로 이루어져 가장 ..

Seq2Seq 모델은 고정된 크기의 context vector를 사용하기 때문에 문장이 길어질 경우 문장 전체를 고정된 벡터 안에 다 담을 수 없다는 문제점과 기울기 소실의 문제점이 있었다. 그러한 문제를 해결하기 위해 2015년에 attention 기법을 소개하는 논문이 등장했고, 이후 transformer 의 등장으로 아예 RNN 사용하지 않고 오직 attention만으로도 훨씬 좋은 성능을 낼 수 있는 모델이 가능하다는 것을 알게 되었다. transformer 등장 이후에는 더 이상 RNN을 사용하지 않고 attention 메커니즘을 활용하여 입력 시퀀스 전체에서 정보를 추출하는 방향으로 연구가 발전되어 왔다고 한다. 2021년 기준으로 기계 번역 고성능 모델들은 주로 transformer 아키텍처..

* 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. 기존 RNN 의 단점은 기울기 소실로부터 나타나는 장기 의존성(Long-term dependency) 문제이다. 장기 의존성 문제는 문장이 길어질 경우 앞 단어의 정보를 잃어버리는 현상을 말한다. 이러한 장기 의존성 문제를 해결하기 위해 LSTM과 GRU이 등장했다. RNN 기반 모델 (LSTM, GRU)이 단어를 처리하는 방법은 아래와 같다. 인코더에서 입력 시퀸스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터로 압축하고, 디코더는 이 컨텍스트 벡터를 통해 출력 시퀸스를 만들어낸다. 위 구조의 문제는 고정 길이의 hidden-state 벡터에 모든 단어의 의미를 담아야 한다는 점이다. LSTM, GRU가..

* 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. RNN은 기울기 소실과 기울기 폭발이라는 문제가 있었다. 이러한 기울기 정보 크기의 문제를 해결하기 위해 고안된 것이 LSTM (Long Term Short Memory, 장단기기억망) 이다. LSTM (Long Term Short Memory, 장단기기억망) LSTM은 RNN에 기울기 정보 크기를 조절하기 위한 Gate를 추가한 모델이다. 요즘은 RNN은 잘 사용하지 않고 대부분 LSTM을 사용한다고 한다. 기울기 소실 문제를 해결하기 위해 LSTM에는 3가지 게이트(gate)가 추가되었다. forget gate : 과거 정보를 얼마나 유지할 것인가? input gate : 새로 입력된 정보는 얼마만큼 ..

* 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. 순환 신경망 (RNN, Recurrent Neural Network) RNN은 연속형(Sequential) 데이터를 잘 처리하기 위해 고안된 신경망이다. 연속형(Sequential) 데이터란 순차적인 데이터로 어떤 순서로 오느냐에 따라서 단위의 의미가 달라지는 데이터를 말한다. 예를 들어 I work at google (나는 구글에서 일한다) 라는 문장에서는 work는 '일한다' 라는 의미의 동사로 쓰이고 google은 '구글 회사' 라는 의미의 명사로 쓰인다. 하지만 I google at work (나는 회사에서 구글링을 한다) 라는 문장에서 google은 '구글링한다' 라는 동사로 쓰이고 work는 '..

OOV(Out of Vocabulary) 문제 아무리 열심히 크롤링을 해서 데이터 수집을 한다고 하더라도 세상의 모든 단어가 포함된 말뭉치를 만드는 것은 불가능하다. word2vec은 말뭉치에 등장하지 않은 단어에 대해서 임베딩 벡터를 만들지 못한다는 단점이 있다. 이렇게 기존 말뭉치에 없는 단어가 등장하는 문제를 OOV(Out of Vocabulary) 문제라고 한다. 또한 적게 등장하는 단어에 대해서는 학습이 적게 일어나기 때문에 적절한 임베딩 문제를 생성하지 못한다는 것도 word2vec의 단점이다. 이러한 문제를 해결하기 위해서 FastText가 등장했다. FastText 또한 Word2Vec와 마찬가지로 단어를 벡터로 만드는 방법 중 하나인데, Word2vec와의 가장 큰 차이점이라면 Word2..

* 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. 분포가설 단어의 분산 표현은 '비슷한 위치에 등장하는 단어들은 비슷한 의미를 가진다.' 라는 분포가설을 기반으로 주변 단어 분포를 기준으로 타겟 단어 벡터를 정하는 것을 말한다. 예를 들어 dog 라는 단어 근처에는 lovely, cute 이라는 단어가 자주 등장하므로 dog는 lovely 하고 cute 하다라는 표현도 함께 정의할 수 있다. * 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. 원 핫 인코딩과 임베딩 컴퓨터는 텍스트를 이해할 수 없기 때문에 컴퓨터가 이해할 수 있는 언어로 벡터화를 해주어야 하는데, 단어를 벡터화하는 가장 쉬운 방법은 원-핫 ..