TYLER SONG / 2026
개발하면서 배운 것과 실험한 내용을 기록합니다.
Reward Model은 "이 응답이 얼마나 좋은가"를 숫자 하나(scalar)로 내놓는 모델이다. 사람이 고른 chosen/rejected 쌍만 있으면, 두 점수의 차이를 시그모이드에 넣는 Bradley-Terry 가정과 pairwise ranking loss로 학습할 수 있다. 오늘은 작은 모델에 value head를 붙여 직접 학습하고 선호 정확도를
Read article↗find는 지정한 디렉터리부터 하위 트리를 재귀적으로 순회하면서 이름, 크기, 수정 시각, 타입 같은 조건에 맞는 파일을 찾아 주는 리눅스 명령어다. 조건식(expression)을 왼쪽에서 오른쪽으로 평가하고, 일치한 항목에 대해 출력이나 삭제, 명령 실행 같은 동작(action)을 수행한다. 기본 사용법과 실무에서 자주 쓰는 패턴, 공백 파일명 처리 같은
rm은 파일 시스템에서 파일 이름(디렉터리 항목)과 inode의 연결을 끊는 리눅스 명령어다. 휴지통 없이 즉시 삭제되므로 옵션의 의미를 정확히 알고 써야 한다. 이 글에서는 rm의 동작 원리, 주요 옵션, 안전하게 쓰는 방법을 정리한다.
mv는 파일이나 디렉터리를 다른 경로로 옮기거나 이름을 바꾸는 리눅스 명령이다. 같은 파일시스템 안에서는 데이터 복사 없이 디렉터리 항목(directory entry)만 수정하므로 크기와 무관하게 빠르게 끝난다. 파일시스템이 다르면 복사 후 삭제로 동작하며, 덮어쓰기 위험이 있어 -i, -n 같은 옵션을 알아두어야 한다.
선호 데이터는 하나의 질문(prompt)에 대해 "더 좋은 답(chosen)"과 "덜 좋은 답(rejected)"을 짝지어 놓은 데이터다. 오늘은 이 데이터를 사람·AI·규칙으로 어떻게 만드는지, 노이즈와 다양성이 왜 문제인지 배운다. 규칙 기반으로 합성 선호쌍을 직접 만들고 공개 선호 데이터셋도 불러와 구조를 확인한다.
cp는 원본 파일이나 디렉터리의 내용을 읽어 새로운 파일로 써 넣는 리눅스 기본 명령이다. 복사 결과는 원본과 독립된 별도의 inode를 가지므로 이후 한쪽을 수정해도 다른 쪽에 영향이 없다. -r, -p, -i, -n, -a 같은 옵션으로 디렉터리 복사, 속성 보존, 덮어쓰기 방지를 제어할 수 있다.
cd(change directory)는 셸 프로세스의 현재 작업 디렉터리(CWD)를 변경하는 셸 내장 명령이다. 외부 프로그램이 아니라 셸 자신의 상태를 바꾸기 때문에 내장 명령으로 구현된다. 절대 경로와 상대 경로, `~`, `-`, `..` 같은 표기를 이해하면 터미널 이동이 훨씬 빨라진다.
ls는 디렉터리에 들어 있는 파일과 하위 디렉터리의 이름을 출력하는 리눅스 명령어다. 옵션을 조합하면 권한, 소유자, 크기, 수정 시각 같은 파일 메타데이터(metadata)까지 확인할 수 있다. 파일 시스템 구조를 파악하고 배포·로그 점검 같은 실무 작업의 출발점으로 쓰인다.
한 달 동안 배운 Transformer, SFT, LoRA를 참고 자료 없이 처음부터 구현해 보는 시험 날이다. Multi-Head Attention과 Transformer Block, LoRALinear과 loss mask를 직접 짜고, 작은 SFT를 1 epoch 돌려 전후 출력을 비교한다. 새로 배우는 것은 없고, 내가 정말 아는지 확인하는 것이 목표