대학원 이야기50 [논문 리뷰] You Impress Me: Dialogue Generation via Mutual Persona Perception (수정 중) (ACL 2020) 논문 원본은 여기에서 확인할 수 있다. # 참고 논문 Deep reinforcement learning for dialogue generation. Personalizing dialogue agents: I have a dog, do you have pets too? A persona-based neural conversation model. : speaker 에 대한 embedding 을 사용하는 방법 (리뷰) Training millions of personalized dialogue agents.: PERSONA-CHAT dataset + Reddit dataset TransferTransfo: A transfer learning approach for neural network based conv.. 2020. 11. 23. [논문 리뷰] A Persona-Based Neural Conversation Model (ACL 2016) Persona를 유지하면서 대화를 이어나갈 수 있는, persona-based neural conversational model에 대해서 다룬다. 논문의 원본은 여기에서 볼 수 있다. 기존의 seq2seq 모델과 유사하지만, decoder에서 한 사람의 persona를 나타내는 speaker embedding 과 addressee embedding 을 함께 입력으로 사용한다. 그러므로 이전 hidden state, 이전 timestep의 예상 결과, 그리고 speaker embedding 이 한 timestep의 입력으로 제공된다. Speaker embedding을 사용함으로서 비슷한 persona 를 보유하는 사람은 가까이에 위치하게 되는데, 이러한 방식은 학습 과정에서 배우지 않은 질문들에 대해서도 .. 2020. 11. 19. [논문 리뷰] A Neural Network Approach to Context-Sensitive Generation of Conversational Responses (수정 중) (NAACL 2015) Open-domain conversational system을 만들기 위한 다양한 노력들이 있었다. 대표적인 방법으로는 machine translation 을 사용해서, 다음 제공될 대화 내용을 "번역(translate)" 해서 사용자에 제공하는 방식이 있다. 하지만 이러한 방식은 문맥으로 고려하는(context sentitive) 대답을 제공하지 못한다는 단점이 있다. 문맥을 고려하기 위해서는 이전 대화 내용들을 참고해서 문맥에 맞는 응답을 생성해야 한다. 이번 논문에서는 단어들의 임베딩을 이용해서 문장의 문법과 의미를 압축해서 나타내는 방식을 사용한 context sensitive response generation에 대해서 다룬다. 이번 논문에서는 2개의 Recurrent Neural Network.. 2020. 11. 18. [논문 리뷰] Personalizing Dialogue Agents: I have a dog, do you have pets too? (수정 중) (ACL 2018) 다른 논문 (사전 지식) 좀 읽어보고 와서 다시 봐야할ㄷㅅ... # 참고 논문 A neural network approach to context-sensitive generation of conversational responses. : information retrieval model (baseline, 리뷰) Starspace: Embed all the things! : supervised embedding model (baseline) Generative deep neural networks for dialogue: A short review. A neural conversational model. : seq2seq 기반 모델 (1) (리뷰) A persona-based neural conversa.. 2020. 11. 14. [논문 리뷰] A Neural Conversational Model (ICML 2015) 2015년 구글에서 제안한 Seq2seq 구조를 사용해서 dialogue generation을 구현하는 논문이다. 논문의 원본은 여기에서 볼 수 있다. Conversational modeling은 NLP 에서 중요한 task 중 하나이다. 해당 분야에 대한 다양한 연구들이 있었지만, 아직까지는 특정한 domain에 한정적이거나, 규칙을 따르는 방식들이 대부분이다. 이번 논문에서는 sequence-to-sequence 모델을 기반으로, 대화 내의 과거 문장들을 기반으로 다음 문장(답변)을 예측하는 모델을 제안한다. 과거에 Conversational agent를 만들기 위해서는 다양하고 복잡한 subcomponent로 구성된 pipeline을 사용해야 했는데, 해당 모델의 장점은 end-to-end로 학습이.. 2020. 11. 13. [논문 리뷰] TransferTransfo: A Transfer Learning Approach for Neural Network Based Conversational Agents (NIPS 2019) Dialogue generation을 통해 사람과 대화는 나누는 Conversational agent에 대한 논문이다. Transformer와 전이 학습(Transfer learning)을 통해서 모델을 구성한다. 원본 논문의 원본은 여기에서 볼 수 있고, Transformer에 대한 글은 여기에서 볼 수 있다. Huggingface에서 제공하는 TransferTransfo의 코드는 여기 GitHub에서 확인할 수 있다. Non-goal-oriented dialogue system(chatbots, open domain dialogue generation)은 다양한 NLP system에서 사용될 수 있는 시스템이다. 최근에 많은 데이터셋의 사용이 가능해지면서 다양한 conversational model에.. 2020. 11. 12. [논문 리뷰] BLEU: a Method for Automatic Evaluation of Machine Translation (2002 ACL) Machine Translation task에서 많이 사용하는 automatic evaluation 방식이다. 해당 논문의 원본은 여기에서 볼 수 있다. 논문의 내용을 다루기 전에 precision, recall, accuracy 에 대한 사전 지식을 가지고 있으면 이해하기 훨씬 편하다. Machine Translation의 결과를 사람이 직접 평가하는 Human evaluation은 정확하지만 비용이 너무 많이 든다는 단점이 있다. 또한, 사람이 직접 평가하기 때문에, 평가하려는 언어에 대한 제한이 발생하게 된다. 마지막으로, 모든 결과를 평가하는데 너무 오랜 시간이 걸린다는 단점이 있는데, 빠르게 기술이 발전하고 변화하는 상황에서 평가에 이렇게 오랜 시간이 걸리는 것은 큰 걸림돌이 될 수 있다. 이러.. 2020. 11. 11. [CS224N] Assignment 4 (풀이 중) 이번 과제는 크게 2가지 파트 : RNN을 이용한 Neural Machine Translation과 NMT 시스템의 분석으로 이루어진다. # Neural Machine Translation with RNNs Neural Machine Translation(NMT)는 source language에서 target language로 변환을 하는 task 이다. (이번 과제에서는 스페인어에서 영어로 변환한다.) 이번 과제에서는 attention을 활용한 Seq2seq 모델을 사용할 것이다. Seq2seq 모델은 bidirectional encoder와 unidirectional decoder로 구성된다. 길이 m 의 입력을 embedding matrix를 통해 e 크기의 word embedding.. 2020. 11. 10. [CS224N] Assignment 3 이번 과제에서는 neural dependency parser를 만들어 본다. # 문제 문제 해석 : 우리가 기존에 사용하던 stochastic gradient descent 의 경우 다음과 같은 식을 만족한다. 이 때, J 는 loss function 이고 α 는 learning rate 를 의미한다. 우리는 각 loss 에 대한 파라미터의 gradient 값을 learning rate에 곱해서 파라미터 값을 업데이트하는 방식으로 학습을 진행했다. 이번에 새로 다뤄볼 Adam optimizer 의 경우 다음과 같은 식을 만속시키면서 학습을 진행한다. β 값은 0에서 1 사이의 (보통 0.9를 사용한다) 하이퍼파라미터로 사용한다. Adam optimizer가 m을 사용.. 2020. 11. 2. 이전 1 2 3 4 5 6 다음
