I am an undergraduate student at Sungkyunkwan University interested in language models, retrieval-augmented generation, preference optimization,autonomous data agents. I use this blog to organize paper reviews, math notes, and implementation-oriented study logs.
Background 기존 self attention을 활용한 Language model들은 위치 정보를 주입하기 위해서 input의 word embedding에 positional embedding을 더했다. 이를 통해 각 input의 단어는 위치 정보와 내용 정보를 바탕으로 한 ...
Background SOTA인 representation 학습 방법은 learning denoising autoencoders이다. BERT에서 사용된 방법으로 15%의 unlabeled input sequence를 [MASK] token으로 처리하고 나서 neural netw...
Background Self Attention은 position 정보를 word embedding에 결합하여 query, key, value의 representation을 얻는다. [q_m = f_q(X_m, m)] [k_n = f_k(X_n, n)] [v_n = f_v(v...
Background Text의 vector representation을 학습하는 것은 NLU task에 매우 중요하다. Text의 representation을 학습하는데 주로 사용되는 두 방법은 Multi-task learning과 pretraining이다. Multi-t...