I am an undergraduate student at Sungkyunkwan University interested in language models, retrieval-augmented generation, preference optimization,autonomous data agents. I use this blog to organize paper reviews, math notes, and implementation-oriented study logs.
Backgroumd 기존에는 text embedding과 re-ranking model을 학습하기 위해 encoder-only 구조의 pre-trained language model (ex: BERT)을 사용했다. 하지만 LLM의 언어 이해 능력이 급격히 상승하면서 LLM을 도입...
Background Text embedding model을 구축하기 위해서 보통 pre-trained bidirectional encoder나 encoder-decoder 구조 모델을 사용한다. 반면, decoder only 구조 모델로 text embedding model을 구...
Background Text embeddings는 임의의 길이를 가진 text를 낮은 dimension으로 dense하게 표현하는 역할을 한다. 기존의 text 표현 방법인 TF-IDF은 전체 단어의 빈도수에 기반하기 때문에 dimension이 높고 sparse해서 Cosine과...