엔터프라이즈 LLM 정렬 실무: DPO·ORPO를 활용한 도메인 특화와 할루시네이션 통제 전략
오픈소스 파운데이션 모델을 기업 내부 데이터셋으로 지도 미세조정(SFT) 하더라도, 실제 운영 환경에 배치하면 그럴싸하게 왜곡된 허위 정보를 출력하는 할루시네이션 현상이나 기업의 보안 규정을 위반하는 답변을 방출하는 리스크를 통제하기는 쉽지 않습니다. 이를 해결하기 위해 인간 피드백 기반 강화학습(RLHF)이 오랫동안 제안되었으나, 기존 PPO 방법론은 액터, 레퍼런스, 크리틱, 리워드라는 네 개의 거대한 모델을 메모리에 동시에 상주시켜야 하므로 자원 소모가 극심하고 학습 불안정성이 크다는 병목이 뚜렷했는데요. DPO와 ORPO 방법론은 이러한 고비용 아키텍처 구조를 파괴하고 단일 또는 대조 모델 풀만으로 기업 도메인 정렬과 정책 통제를 달성하는 직관적인 대안으로 주목받고 있습니다. DPO(Direct Preference Optimization)의 핵심 메커니즘은 별도의 보상 모델 생성 공정을 생략하고, 언어 모델의 정책 확률 분포 자체를 활용해 선호 답변(Accepted)과 비선호 답변(Rejected)의 스코어 차이를 직접 최적화하는 데 있습니다. 정책 모델과 참조 모델 간의 로그 확률 비율을 손실 함수에 직접 대입하여 연산 효율을 높이는 방식인데요. 시스템이 유기적으로 맞물리는 흐름은 하부 파이프라인 구조도를 통해 가시적으로 파악할 수 있습니다. 그림 1. 정렬 레이아웃: 선호 데이터 쌍을 관통하는 정책 가중치 업데이트와 손실 함수 최적화의 유기적 흐름 DPO 손실 함수는 수학적으로 다음과 같이 정의되어 정책 모델의 행동 반경을 정밀하게 제어합니다. $$L_{DPO}(\theta; \pi_{ref}) = -\mathbb{E}_{(x, y_w, y_l) \sim D} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)...
