자연어 처리4 [CS224N] Lecture 5 - Dependency Parsing Sentence Structure 문장의 구조를 파악하는 방법은 총 2가지가 있다. Phrase-structure grammar(context-free grammar, CFG) dependency structure grammar 문장 구조를 제대로 파악해야지 문장의 의미를 정확하게 이해할 수 있다. Phrase-structure grammar 문장을 unit으로 구성 각 unit 들을 progressively nest Dependency structure grammar 한 단어가 어떤 다른 단어에 의존적인지 나타내는 방식 Treebank 사람이 직접 문장들의 dependency를 파악해서 dependency structure 를 구성한 데이터셋 영어 뿐만 아니라, 다양한 언어들에 대해서 생성 Depend.. 2020. 8. 14. [CS224N] Lecture 3 - Neural Networks Classification setup & notation $ x_i $ : inputs (d-dimension vector) $ y_i $ : C개의 class 중, $ x_i $ 에 해당하는 class(label) $$ \left\{x_i, y_i \right\}^N_{i=1} $$ Classifier classification : x 값들이 주어졌을 때, y 값에 따라서 영역을 구분할 수 있는 선을 구해야 한다. classifier : 영역을 구분하는 선 softmax, logistic regression 등의 linear classifier(선으로 두 영역을 구분)를 사용한다. softmax : 입력값을 probability distribution으로 제공한다. 각 x 에 대해서 아래 정의한 $ p.. 2020. 8. 12. [CS224N] Lecture 2 - Word Vectors and Word Senses Vector Space word vector를 vector space에 위치시켰을 때, 유사한 의미를 보유하고 있으면 가까이 위치한다는 것을 알 수 있다. high dimensional vector space에서는 한 단어가 다양한 다른 단어와 서로 다른 방향으로 인정합 수 있다. 2차원 공간에 이러한 벡터들을 나타내는 경우, 이런 관계를 표현하지 못할 수 있다. 벡터의 방향성에도 의미가 있다는 것을 알 수 있다. Optimization Gradient Descent 손실 함수인 $ J(\theta) $ 를 최소화해야 한다. 손실 함수의 gradient(기울기)를 계산해서, gradient의 반대 방향으로 조금씩 이동하게 된다. 계속해서 기울기 반대 방향으로 이동하다 보면, 최종적으로 최소점으로 이동하게.. 2020. 8. 11. [CS224N] Lecture 1 - Introduction and Word Vectors Stanford 에서 진행하는 CS224N : NLP with Deep Learning 을 듣고 정리한 내용입니다. 과거에는 Human language 를 통해 지식을 전달했다. 상대적을 slow network를 형성한다. (bandwidth 가 작다.) 그러므로 내용을 축약해서 전달한다. : 대화하는 사람이 어느정도의 배경 지식을 보유하고 있다고 가정하고 대화를 한다. 그러므로 짧은 단어만 이용해서 더 많이 이해할 수 있다. 우리가 이번 과정을 통해서 하고 싶은 것 : represent the meaning of words common solution : WordNet 단어의 synonym 과 hypernyms 를 사용해서 dictionary 를 구성한다. human labor를 통해서 구성된 hand.. 2020. 8. 10. 이전 1 다음
