인공지능응용연구실

*제목
*작성자 이름
*비밀번호
상단 고정	상단 고정으로 설정 게시판 목록 상단에 고정 표시됩니다.
비밀글	비밀글로 설정
*내용	<p><strong>논문제목:</strong></p> <ul> <li>Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks</li> <li>링크: https://arxiv.org/abs/2005.11401</li> </ul> <p> </p> <p><strong>Overview</strong></p> <ul> <li><strong>연구 배경</strong></li> </ul> <ol> <li>기존의 Pre-trained Language Model(BERT, GPT, BART 등)은 학습 데이터의 지식을 모델 내부의 파라미터(Parametric Memory)에 저장하는 방식을 취함.</li> <li>이러한 모델들은 특정 Task에서 SOTA를 달성했으나, 지식 저장 방식의 특성상 유연성이 떨어지는 문제가 존재함.</li> </ol> <ul> <li><strong>기존 한계</strong></li> </ul> <ol> <li>지식 업데이트의 어려움: 모델 파라미터에 지식이 고정되므로, 새로운 정보를 반영하려면 모델 전체를 재학습(Re-training)해야 함.</li> <li>Hallucination(환각 현상): 모델이 확신을 가지고 그럴듯한 거짓 답변을 생성하는 문제가 발생함.</li> <li>출처(Provenance) 부재: 답변 생성 시 근거가 되는 문서를 명시하기 어려워 신뢰성 검증이 힘듦</li> <li>지식 집약적(Knowledge-Intensive) 과제에서의 성능 저하: 정밀한 사실 조작이 필요한 복잡한 QA 태스크에서 한계를 보임.</li> </ol> <ul> <li><strong>연구 목표</strong></li> </ul> <ol> <li>Parametric Memory(생성 모델 내부 지식)와 Non-parametric Memory(외부 검색 데이터베이스)를 결합한 하이브리드 아키텍처 제안.</li> <li>외부 지식 데이터베이스(Wikipedia 등)에서 관련 문서를 검색(Retrieve)하고, 이를 바탕으로 답변을 생성(Generate)하는 End-to-End 모델 구축.</li> </ol> <p> </p> <p><strong>핵심 방법론 및 기여</strong></p> <ul> <li><strong>RAG (Retrieval-Augmented Generation) 모델 구조</strong></li> </ul> <ol> <li>Retriever (DPR): Query Encoder와 Document Index 간의 내적(MIPS)을 통해 질문과 가장 관련성 높은 Top-K 개의 Passage를 검색함.</li> <li>Generator (BART): 검색된 Passage와 원본 Query를 결합(Concat)하여 입력으로 받고, 이를 바탕으로 답변을 생성함.</li> <li>Probabilistic Integration: 검색된 문서들의 확률을 통합(Marginalize)하여 가장 가능성 높은 최종 답변을 도출하는 End-to-End 학습 구조를 가짐.</li> </ol> <ul> <li><b data-index-in-node="0" data-path-to-node="7,1,1,0">두 가지 Decoding 전략 제안</b></li> </ul> <ol> <li>RAG-Sequence: 검색된 각 문서(Passage)를 독립적으로 활용하여 전체 시퀀스(문장)를 생성한 후, 가장 확률이 높은 문장을 최종 선택하는 방식.</li> <li>RAG-Token: 다음 토큰(단어)을 생성할 때마다 모든 검색 문서의 확률 분포를 반영(Summation)하여 생성하는 방식으로, 문서 간의 정보를 더 유기적으로 결합함.</li> </ol> <ul> <li><strong>주요 기여 (Contribution)</strong></li> </ul> <ol> <li>지식의 확장성 및 최신성 확보: 모델 재학습 없이 외부 데이터베이스(Corpus)만 교체하면 최신 지식을 즉시 반영 가능함.</li> <li>정확도 및 신뢰성 향상: 답변 생성 시 참고한 문서를 확인할 수 있어 결과의 해석 가능성(Interpretability)을 제공하고 Hallucination을 완화함.</li> <li>SOTA 성능 달성: Open Domain QA 및 Jeopardy Question Generation 등 지식 집약적 태스크에서 기존의 Closed-book 모델 및 추출형(Extractive) 모델보다 우수한 성능을 입증함.</li> </ol> <p> </p> <p>발표 자료: 하단 첨부</p>
첨부파일	20260126_Seminar_RAG_ChaYeseong.pdf (2.4 MB)
*자동입력방지 코드

Teaching

Lab Seminars