NLP40 [CS224N] Lecture 3 - Neural Networks Classification setup & notation xi : inputs (d-dimension vector) yi : C개의 class 중, xi 에 해당하는 class(label) {xi,yi}Ni=1 Classifier classification : x 값들이 주어졌을 때, y 값에 따라서 영역을 구분할 수 있는 선을 구해야 한다. classifier : 영역을 구분하는 선 softmax, logistic regression 등의 linear classifier(선으로 두 영역을 구분)를 사용한다. softmax : 입력값을 probability distribution으로 제공한다. 각 x 에 대해서 아래 정의한 $ p.. 2020. 8. 12. [CS224N] Lecture 2 - Word Vectors and Word Senses Vector Space word vector를 vector space에 위치시켰을 때, 유사한 의미를 보유하고 있으면 가까이 위치한다는 것을 알 수 있다. high dimensional vector space에서는 한 단어가 다양한 다른 단어와 서로 다른 방향으로 인정합 수 있다. 2차원 공간에 이러한 벡터들을 나타내는 경우, 이런 관계를 표현하지 못할 수 있다. 벡터의 방향성에도 의미가 있다는 것을 알 수 있다. Optimization Gradient Descent 손실 함수인 J(θ) 를 최소화해야 한다. 손실 함수의 gradient(기울기)를 계산해서, gradient의 반대 방향으로 조금씩 이동하게 된다. 계속해서 기울기 반대 방향으로 이동하다 보면, 최종적으로 최소점으로 이동하게.. 2020. 8. 11. [CS224N] Lecture 1 - Introduction and Word Vectors Stanford 에서 진행하는 CS224N : NLP with Deep Learning 을 듣고 정리한 내용입니다. 과거에는 Human language 를 통해 지식을 전달했다. 상대적을 slow network를 형성한다. (bandwidth 가 작다.) 그러므로 내용을 축약해서 전달한다. : 대화하는 사람이 어느정도의 배경 지식을 보유하고 있다고 가정하고 대화를 한다. 그러므로 짧은 단어만 이용해서 더 많이 이해할 수 있다. 우리가 이번 과정을 통해서 하고 싶은 것 : represent the meaning of words common solution : WordNet 단어의 synonym 과 hypernyms 를 사용해서 dictionary 를 구성한다. human labor를 통해서 구성된 hand.. 2020. 8. 10. [논문 리뷰] KorNLI and KorSTS: New Benchmark Datasets for Korean Natural Language Understanding 카카오 브레인 팀에서 자연어 처리를 위한 데이터셋을 공개한다는 내용의 논문이다. 이제 자연어 처리 공부를 시작한 나에게는 모든게 생소하고 어렵게 느껴지지만, 대단하다는건 확실하다 :) Abstract NLU(Natural Language Understanding)에서 NLI(Naural Language Inference)와 STS(Semantic Textual Similarity)는 가장 큰 과제 중 하나이다. 영어를 포함한 몇 가지 언어에 대해서는 기준이 되는 데이터셋이 존재하지만, 한국어 NLI, STS에 대한 데이터셋은 존재하지 않는다. 그렇기에, KorNLI, KorSTS 라는 한국어 NLI, STS를 위한 데이터셋을 공개한다. 영어 데이터 셋을 기계 번역해서 한국어로 구성된 학습 데이터를 생성했.. 2020. 8. 2. 이전 1 2 3 4 5 다음
