이제 데이터 공부 안하는 블로그

* 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. 자연어란 ? 사람들이 일상적으로 쓰는 언어를 말한다. 자연적으로 발생한 언어로, 인공어로 만들어진 언어와 구분하기 위해서 만들어진 개념이다. 그리고 이런 자연어를 컴퓨터로 처리하는 기술을 자연어 처리(Natural Language Processing, NLP) 라고 한다. 자연어 처리로 할 수 있는 일들 자연어 이해 : 뉴스 기사, 감정 분류(기사 내용이 긍정적인지 부정적인지 분류함), 비문학 문제 풀기, 품사 태깅, 개체명 인식 등 자연어 생성 : 텍스트 생성(뉴스 기사, 가사 등 생성하기) NLU & NLG : 문장을 읽고 핵심 요약하는 부분을 찾아내서 요약문 생성, 식당 예약을 위한 챗봇, 상담 응대..

* 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. 딥러닝에서 최적화(Optimization)란 학습 모델의 손실함수(loss function)의 최소값을 찾아가는 과정을 말한다. 이 과정에서 최적화된 하이퍼 파라미터의 값을 찾는 것이 목표인데, 딱 떨어지는 답이 없기 때문에 다양한 시도를 통해 최적의 조합을 찾아가야한다. 앞에서 가중치 파라미터들을 Optimize 하기 위해서 경사하강법(Gradient Descent)을 사용했다. Gradient Descent 경사하강법 Gradient Descent(경사하강법)은 오차함수의 낮은 지점을 찾아가는 최적화 방법이다. 가중치의 기울기를 구해서 손실함수(loss funtion)를 줄이는 방향으로 업데이트 해나간..

* 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. 인공신경망은 매개변수가 많은 모델이라서 쉽게 과적합(Overfit)될 수 있다. 또 신경망의 층이 깊어질 수록, 학습률이 작을수록 과적합되는 경향이 있다. 그럼 어떻게 과적합을 막을 수 있을까? Overfitting을 막기 위한 방법 Early Stopping Weight Decay Weight Constraints Dropout 1. Early Stopping 조기 종료 epoch (학습 횟수)가 많을 수록 오차가 줄어든다. 하지만 어느 시점부터 오차가 다시 커지는 과적합(Overfitting)현상을 보여준다. 그래서 너무 많지도, 너무 적지도 않은 epoch를 설정하는 것이 중요한데, Early St..

* 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. 역전파 BackPropagation 우리의 목표는 최적의 신경망 모델을 만드는 것이다. 최적의 신경망 모델이란 우리가 원하는 타겟값과 결과값의 오차가 제일 적게 나오는 모델을 말한다. 이 오차를 최소한으로 만들기 위해서 신경망의 가중치를 적절하게 조절해야하는데 BackPropagation (역전파) 를 통해서 가중치를 조절할 수 있다. BackPropagation(역전파)란 타겟값과 출력값의 오차를 최소화하기 위해 출력층에서 입력층 방향으로 가중치를 갱신하는 알고리즘이다. 역전파라는 이름을 가진 이유는 출력층에서 시작해서 입력층 방향으로, 즉 역방향으로 거슬러 올라가면서 가중치를 조절하기 때문이다. 가중치..

* 제가 공부하기 위해 만든 자료입니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 수정하겠습니다. 신경망(Neural Networks) 생물학의 신경망에서 영감을 얻어서 만든 통계학적 학습 알고리즘입니다. 인간 뇌의 뉴런이 신경 말단에서 자극을 받으면 시냅스에서 화학 물질이 나와 전위 변화를 일으키고, 전위가 임계값을 넘으면 다음 뉴런으로 신호를 전달하는 매커니즘과 비슷합니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 퍼셉트론 : 신경망을 이루는 가장 기본 단위 신경망(딥러닝)의 기원이 되는 알고리즘 퍼셉트론은 다수의 신호를 입력 받아 하나의 신호를 출력한다. 입력 값과 활성화 함수를 사용..