I am an undergraduate student at Sungkyunkwan University interested in language models, retrieval-augmented generation, preference optimization,autonomous data agents. I use this blog to organize paper reviews, math notes, and implementation-oriented study logs.
Background LLM을 사람의 의도와 align하기 위해서는 human feedback을 학습하는 것이 매우 중요하다. RLHF는 human feedback을 사용하는 성능이 뛰어난 강화학습 방법이다. 하지만 reward model을 학습하고, 그 reward을 최대화하는 ...
Background LLM은 현재 뛰어난 추론 능력을 가지지만 여전히 hallucination으로 인한 오류가 빈번하다. Hallucination은 특히 multi-step reasoning이 요구되는 영역에서 취약하다. Reasoning 과정에서 하나의 논리적 오류가 발생한다면...
Background LLM이 general한 domain application에 사용되기 위해서는 Instruction tuning과 Preference alignment를 해야 한다. Instruction tuning은 자연어로 된 지시사항을 따르도록 LLM을 학습시키는 과정이...