인공지능응용연구실

*제목
*작성자 이름
*비밀번호
상단 고정	상단 고정으로 설정 게시판 목록 상단에 고정 표시됩니다.
비밀글	비밀글로 설정
*내용	<p><strong>논문제목:</strong></p> <ul> <li>INFO-RAG: Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation</li> <li>링크: https://aclanthology.org/2024.acl-long.9/</li> </ul> <p> </p> <p><strong>Overview</strong></p> <ul> <li><strong>연구 배경</strong></li> </ul> <ol> <li>RAG (Retrieval-Augmented Generation)의 부상: LLM이 답변 생성 전 외부 지식(Knowledge Base)을 검색하여 이를 바탕으로 문장을 생성하는 기술이 주목받고 있음.</li> <li>Retrieval와 Generation의 결합: Query에 대해 Retriever가 관련 텍스트를 찾고, 이를 LLM(Generator)이 참조하여 답변을 생성하는 구조.</li> </ol> <ul> <li><strong>기존 한계</strong></li> </ul> <ol> <li>Retrieved Text의 불완전성: 검색된 텍스트가 항상 유익한 것은 아니며, 잘못된 정보가 포함되거나(Noise), 정답 정보가 부족할 수 있음.</li> <li>LLM의 한계: 현재 LLM은 검색된 정보가 유익하지 않아도 이를 맹목적으로 활용하거나, 프롬프트 엔지니어링만으로는 근본적인 파라미터 업데이트가 불가능해 한계가 있음.</li> <li>비용 및 일반화 문제: 특정 Task를 위한 지도 학습(SFT) 데이터 구축은 비용이 많이 들며, 다른 Task에 대한 일반화 성능이 떨어질 수 있음.</li> </ol> <ul> <li><strong>연구 목표</strong></li> </ul> <ol> <li>Unsupervised Information Refinement: 라벨링된 데이터 대신 Wikipedia와 같은 대규모 문서를 활용한 비지도 학습(Unsupervised Learning) 방식을 제안.</li> <li>LLM 역할의 재정의: LLM을 검색된 텍스트에 종속된 수동적 생성기가 아닌, 정보를 능동적으로 평가하고 개선하는 'Information Refiner'로 정의함.</li> <li>목표: 입력된 검색 결과의 품질이 낮더라도, 학습된 지식을 통해 고품질의 답변을 생성하도록 유도하는 것.</li> </ol> <p> </p> <p><strong>핵심 방법론 및 기여</strong></p> <ul> <li><strong>INFO-RAG 방법론 제안:</strong></li> </ul> <ol> <li>시나리오 1 (Conciseness): 검색된 텍스트에 정답이 포함되어 있으나 너무 길고 복잡한 경우, 불필요한 정보를 제거하고 정답만을 간결하게 추출(Select and Copy)하도록 학습.</li> <li>시나리오 2 (Correctness & Completeness): 검색된 텍스트가 불완전하거나 오류를 포함한 경우, 'Informative Tokens'(JSD 기반 레이어 분석으로 추출)에 마스킹/치환을 적용한 데이터를 입력하여 모델이 스스로 오류를 수정하고 보완하도록 학습.</li> <li>시나리오 3 (Internal Knowledge): 검색 실패(No Answer) 상황을 대비하여, 문서에서 정답 문장을 제거한 후 모델의 내재적 지식(Internal Knowledge)을 활용해 답을 생성하도록 학습.</li> </ol> <ul> <li><strong>주요 기여:</strong></li> </ul> <ol> <li>별도의 정답 라벨링 없이 Wikipedia 문서만으로 학습 데이터를 구축하는 효율적인 파이프라인을 제시함.</li> <li>QA, 요약, 코드 생성 등 다양한 Task의 Zero-shot 설정에서 기존 모델 대비 향상된 성능과 일반화 능력을 입증.</li> <li>검색된 정보의 품질(정확, 부정확, 없음)에 상관없이 모델이 유연하게 대처할 수 있는 Robustness를 확보.</li> </ol>
첨부파일	20260202_Seminar_ChaYeseong.pdf (2.7 MB)
*자동입력방지 코드

Teaching

Lab Seminars