What Is Direct Parameter Optimization(DPO)?

• Direct Preference Optimization(DPO)는 언어 모델을 인간의 선호에 맞추기 위해 복잡한 강화 학습 없이 모델 자체를 암묵적인 보상 모델로 취급하여, 선호하는 응답을 직접 최적화하는 간단한 방법입니다. 이 접근 방식은 전통적인 RLHF 방법보다 계산 효율성이 높고 안정적이며, 성능도 동등하거나 더 우수합니다.

• 한국의 특정 산업 시설은 국가 보안 시설로 지정되어 엄격한 보안 규정을 준수해야 하며, 데이터는 회사 내부에 남아 있어야 합니다. 이러한 규정으로 인해 GPT나 Claude와 같은 생성 AI 기술을 활용하기 어려워, 자체 대형 언어 모델을 개발하거나 HuggingFace의 오픈 소스 모델을 미세 조정하여 내부 서버에서 운영하는 방안을 고려하고 있습니다.

• Direct Preference Optimization(DPO)는 인간의 피드백을 기반으로 한 강화 학습(RLHF)의 복잡성과 불안정성을 해결하기 위해 개발된 방법으로, 보상 모델을 매개변수화하여 최적의 정책을 폐쇄형으로 추출함으로써 미세 조정 과정을 단순화하고 효율성을 높입니다.

• DPO는 언어 모델에서 샘플링할 필요성을 제거하고 하이퍼파라미터 튜닝의 복잡성을 줄여, 인간의 선호도에 맞춰 언어 모델을 정렬하는 데 있어 전통적인 RLHF 방법의 성능을 맞추거나 초과하며, 구현과 훈련을 단순화하여 계산적으로 가볍고 효과적인 솔루션을 제공합니다.