Natural Language Processing (3) 썸네일형 리스트형 [NLP with D.L] 1) Word Representation, Word Sense and Word2Vec with Gensim 본 포스트는 Christopher Manning 교수님의 CS224N 강의를 바탕으로 hyyoka가 필요하다고 생각한 내용을 추가한 것임을 밝힙니다. Contents Human langauge and word meaning Word2vec Gensim library를 이용한 Word2vec 1. Human langauge and word meaning When we study human language, we are approaching what some might call the “human essence,” the distinctive qualities of mind that are, so far as we know, unique to man. @ NOAM CHOMSKY, Language and Mi.. All about GPT-2 : 이론부터 fine-tuning까지(2) 지난 포스트에서는 GPT-2의 이론과 구조에 대해 설명했습니다. 2020/07/23 - [Natural Language Processing] - All about GPT-2 : 이론부터 fine-tuning까지(1) 이번 포스트에서는 영어 교과서 코퍼스를 이용하여 gpt-2를 finetuning하는 법에 대해 다룹니다. 비교를 위해 pre-trained된 모델을 사용한 결과와 비교할 것입니다. 목차는 다음과 같습니다. What is GPT-2 언어 모델(Language Model) Transformers for Language Modeling Bert vs GPT-2 Architecture : gpt-2의 구조 Byte Pair Encoding, BPE Input Encoding : Positional .. All about GPT-2 : 이론부터 fine-tuning까지(1) OpenAI의 GPT-2는 NLG(Natural Language Generation)에서 가장 탁월한 성능을 보인다고 알려져 있습니다. 소설을 작성하는 데모를 제공함으로써 그 뛰어난 능력을 세상에 알렸죠. 그래서 흔히 소설쓰는 인공지능 모델이라고 많이 불립니다. 본 포스트에서는 GPT-2의 이론과 구조를 이해한 뒤, 이를 사용해보는 것을 목표로 합니다. 단순히 pre-trained된 모델을 돌려보는 것만에서 그치지 않고 fine-tuning하는 법까지 차근차근 적어보겠습니다. 목차는 다음과 같습니다. What is GPT-2 언어 모델(Language Model) Transformers for Language Modeling Bert vs GPT-2 Architecture : gpt-2의 구조 Byte .. 이전 1 다음
