Category

baekjoon

BOJ 1167 트리의 지름

1 minute read

접근 방법 인터넷 검색을 하니까 트리의 지름은 특이한 성질은 가진다고 한다. 임의의 점에서 제일 멀리 있는 노드는 무조건 트리 지름을 구성하는 끝 점 중 하나라고 한다. 따라서 dijkstra를 한번 하여 한 끝점을 구하고 그 끝점에서 dijkstra를 또 해서 지름을 구하였다.

Back to Top ↑

paper

Text Embedding by Weakly-Supervised Contrastive Pre-training 리뷰

8 minute read

Background Text embeddings는 임의의 길이를 가진 text를 낮은 dimension으로 dense하게 표현하는 역할을 한다. 기존의 text 표현 방법인 TF-IDF은 전체 단어의 빈도수에 기반하기 때문에 dimension이 높고 sparse해서 Cosine과...

LoRA Low Rank Adaptation of Large Language Models 리뷰

10 minute read

Background NLP task를 수행하기 위해서는 하나의 large scale pretrained Language model을 downstream task 에 특화되도록 finetuning 해야 한다. Parameter가 $\Phi$ 인 pretrained Autoregre...

The Lessons of Developing Process Reward Models in Mathematical Reasoning 리뷰

10 minute read

Background LLM은 수학 추론에 큰 진전을 보이고 있지만 여전히 논리적 / 계산 실수를 한다. 답은 맞추더라도 추론 과정이 그럴 듯 하게 틀리거나 아예 틀리는 경우가 빈번하다. 따라서 Language model의 풀이 step들을 채점해서 어디서 틀렸는지 알려줄 수 있는...

SimPO Simple Preference Optimization with a Reference-Free Reward 리뷰

11 minute read

Background LLM을 사람의 의도와 align하기 위해서는 human feedback을 학습하는 것이 매우 중요하다. RLHF는 human feedback을 사용하는 성능이 뛰어난 강화학습 방법이다. 하지만 reward model을 학습하고, 그 reward을 최대화하는 ...

Let’s Verify Step by Step 리뷰

11 minute read

Background LLM은 현재 뛰어난 추론 능력을 가지지만 여전히 hallucination으로 인한 오류가 빈번하다. Hallucination은 특히 multi-step reasoning이 요구되는 영역에서 취약하다. Reasoning 과정에서 하나의 논리적 오류가 발생한다면...

Proximal Policy Optimization Algorithms 리뷰

8 minute read

Background Neural networks으로 강화학습을 하는 방법으로는 Q-learning과 Vanilla Policy Gradient가 있다. Q-Learning Q-learning은 현재 state s에서 action a를 하면 미래에 총 얼마의 보상을 받을까를 예측하...

DeBERTa Enhanced BERT with Disentabled Attention 리뷰

5 minute read

Background 기존 self attention을 활용한 Language model들은 위치 정보를 주입하기 위해서 input의 word embedding에 positional embedding을 더했다. 이를 통해 각 input의 단어는 위치 정보와 내용 정보를 바탕으로 한 ...

Orca-Math: Unlocking the potential of SLMs in Grade School Math 리뷰

3 minute read

Background 수학 문제 해결은 Small Language Model (SLM)에게는 어려운 과제로 여겨진다. 최근 연구에 따르면 모델 자체의 성능만으로 GSM8K benchmark (초등학생 수학 문제)에서 80% 이상의 성능을 달성하기 위해서는 최소 34B paramete...

ReAct: Synergizing Reasoning and Acting in Language Models 리뷰

7 minute read

추론 과정과 행동을 결합하여 LLM이 다양한 문제 상황에 대해서 의사결정과 추론을 하도록 하는 방법론에 대한 연구이다. 연구 배경 인간은 과제를 해결하고자 행동과 언어적 추론을 결합하여 스스로 통제하고, 계획을 세우고, 기억을 유지한다. 이런 결합이 새로운 task를 빠르게 배우...

Back to Top ↑

SKKU_OS

8: Address Translation

2 minute read

Memory Virtualization에 필요한 mechanism: Address Translation

Back to Top ↑

SKKU_MLintroduction

Back to Top ↑

SKKU_SwEng

3agilesoftwaredevelopment

3 minute read

Software system을 개발할 때의 문제는 빠른 배포를 할 것인가 소프트웨어의 품질을 좋게 할 것인가이다.

Back to Top ↑

SKKU_Network

Back to Top ↑

SKKU_InfoViz

Vis6

4 minute read

Marks and Channels

Vis5

4 minute read

Visualizing Graphs

Vis4

4 minute read

Visualization Idiom

Vis3

2 minute read

Data and Task Abstraction

Vis2

1 minute read

Definition and Justification

Vis1

2 minute read

VIS Landscape

Back to Top ↑

ML

Back to Top ↑

URP

기존 방법 정리

2 minute read

최소한의 수정으로 Tactile injection / 적용 논문

Back to Top ↑

project

Back to Top ↑