논문제목:

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
• 링크: https://arxiv.org/abs/2005.11401

 

Overview

• 연구 배경

1. 기존의 Pre-trained Language Model(BERT, GPT, BART 등)은 학습 데이터의 지식을 모델 내부의 파라미터(Parametric Memory)에 저장하는 방식을 취함.
2. 이러한 모델들은 특정 Task에서 SOTA를 달성했으나, 지식 저장 방식의 특성상 유연성이 떨어지는 문제가 존재함.

• 기존 한계

1. 지식 업데이트의 어려움: 모델 파라미터에 지식이 고정되므로, 새로운 정보를 반영하려면 모델 전체를 재학습(Re-training)해야 함.
2. Hallucination(환각 현상): 모델이 확신을 가지고 그럴듯한 거짓 답변을 생성하는 문제가 발생함.
3. 출처(Provenance) 부재: 답변 생성 시 근거가 되는 문서를 명시하기 어려워 신뢰성 검증이 힘듦
4. 지식 집약적(Knowledge-Intensive) 과제에서의 성능 저하: 정밀한 사실 조작이 필요한 복잡한 QA 태스크에서 한계를 보임.

• 연구 목표

1. Parametric Memory(생성 모델 내부 지식)와 Non-parametric Memory(외부 검색 데이터베이스)를 결합한 하이브리드 아키텍처 제안.
2. 외부 지식 데이터베이스(Wikipedia 등)에서 관련 문서를 검색(Retrieve)하고, 이를 바탕으로 답변을 생성(Generate)하는 End-to-End 모델 구축.

 

핵심 방법론 및 기여

• RAG (Retrieval-Augmented Generation) 모델 구조

1. Retriever (DPR): Query Encoder와 Document Index 간의 내적(MIPS)을 통해 질문과 가장 관련성 높은 Top-K 개의 Passage를 검색함.
2. Generator (BART): 검색된 Passage와 원본 Query를 결합(Concat)하여 입력으로 받고, 이를 바탕으로 답변을 생성함.
3. Probabilistic Integration: 검색된 문서들의 확률을 통합(Marginalize)하여 가장 가능성 높은 최종 답변을 도출하는 End-to-End 학습 구조를 가짐.

• 두 가지 Decoding 전략 제안

1. RAG-Sequence: 검색된 각 문서(Passage)를 독립적으로 활용하여 전체 시퀀스(문장)를 생성한 후, 가장 확률이 높은 문장을 최종 선택하는 방식.
2. RAG-Token: 다음 토큰(단어)을 생성할 때마다 모든 검색 문서의 확률 분포를 반영(Summation)하여 생성하는 방식으로, 문서 간의 정보를 더 유기적으로 결합함.

• 주요 기여 (Contribution)

1. 지식의 확장성 및 최신성 확보: 모델 재학습 없이 외부 데이터베이스(Corpus)만 교체하면 최신 지식을 즉시 반영 가능함.
2. 정확도 및 신뢰성 향상: 답변 생성 시 참고한 문서를 확인할 수 있어 결과의 해석 가능성(Interpretability)을 제공하고 Hallucination을 완화함.
3. SOTA 성능 달성: Open Domain QA 및 Jeopardy Question Generation 등 지식 집약적 태스크에서 기존의 Closed-book 모델 및 추출형(Extractive) 모델보다 우수한 성능을 입증함.

 

발표 자료: 하단 첨부