논문제목:

• INFO-RAG: Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation
• 링크: https://aclanthology.org/2024.acl-long.9/

 

Overview

• 연구 배경

1. RAG (Retrieval-Augmented Generation)의 부상: LLM이 답변 생성 전 외부 지식(Knowledge Base)을 검색하여 이를 바탕으로 문장을 생성하는 기술이 주목받고 있음.
2. Retrieval와 Generation의 결합: Query에 대해 Retriever가 관련 텍스트를 찾고, 이를 LLM(Generator)이 참조하여 답변을 생성하는 구조.

• 기존 한계

1. Retrieved Text의 불완전성: 검색된 텍스트가 항상 유익한 것은 아니며, 잘못된 정보가 포함되거나(Noise), 정답 정보가 부족할 수 있음.
2. LLM의 한계: 현재 LLM은 검색된 정보가 유익하지 않아도 이를 맹목적으로 활용하거나, 프롬프트 엔지니어링만으로는 근본적인 파라미터 업데이트가 불가능해 한계가 있음.
3. 비용 및 일반화 문제: 특정 Task를 위한 지도 학습(SFT) 데이터 구축은 비용이 많이 들며, 다른 Task에 대한 일반화 성능이 떨어질 수 있음.

• 연구 목표

1. Unsupervised Information Refinement: 라벨링된 데이터 대신 Wikipedia와 같은 대규모 문서를 활용한 비지도 학습(Unsupervised Learning) 방식을 제안.
2. LLM 역할의 재정의: LLM을 검색된 텍스트에 종속된 수동적 생성기가 아닌, 정보를 능동적으로 평가하고 개선하는 'Information Refiner'로 정의함.
3. 목표: 입력된 검색 결과의 품질이 낮더라도, 학습된 지식을 통해 고품질의 답변을 생성하도록 유도하는 것.

 

핵심 방법론 및 기여

• INFO-RAG 방법론 제안:

1. 시나리오 1 (Conciseness): 검색된 텍스트에 정답이 포함되어 있으나 너무 길고 복잡한 경우, 불필요한 정보를 제거하고 정답만을 간결하게 추출(Select and Copy)하도록 학습.
2. 시나리오 2 (Correctness & Completeness): 검색된 텍스트가 불완전하거나 오류를 포함한 경우, 'Informative Tokens'(JSD 기반 레이어 분석으로 추출)에 마스킹/치환을 적용한 데이터를 입력하여 모델이 스스로 오류를 수정하고 보완하도록 학습.
3. 시나리오 3 (Internal Knowledge): 검색 실패(No Answer) 상황을 대비하여, 문서에서 정답 문장을 제거한 후 모델의 내재적 지식(Internal Knowledge)을 활용해 답을 생성하도록 학습.

• 주요 기여:

1. 별도의 정답 라벨링 없이 Wikipedia 문서만으로 학습 데이터를 구축하는 효율적인 파이프라인을 제시함.
2. QA, 요약, 코드 생성 등 다양한 Task의 Zero-shot 설정에서 기존 모델 대비 향상된 성능과 일반화 능력을 입증.
3. 검색된 정보의 품질(정확, 부정확, 없음)에 상관없이 모델이 유연하게 대처할 수 있는 Robustness를 확보.