논문 제목 :

• Brains and algorithms partially converge in natural language processing
• 링크 : https://www.nature.com/articles/s42003-022-03036-1

 

Overview

• 최근 트랜스포머 기반 딥러닝 모델들은 번역, 요약 등에서 인간 수준의 놀라운 언어 처리 성능을 보여주고 있음.
• 기존 연구들에서도 AI 모델의 활성화 패턴이 뇌 반응과 유사하다는 증거가 있었으나, 데이터 규모가 작거나 뇌의 공간적/시각적 분석이 제한적이라는 한계가 존재.
• 본 연구는 "딥러닝 모델이 문맥에서 단어를 예측하는 능력이 향상될수록, 그 내부 표현은 뇌의 활동과 점점 유사해질 것이다" 라는 가설을 검증하고자함.
• 이를 위해 대규모 뇌 영상 데이터(fMRI, MEG)와 다양한 구조의 AI 모델을 비교 분석하여, 알고리즘의 언어 성능과 생물학적 뇌 활동 간의 수렴성을 규명하는 것을 목표로 함.

 

핵심 방법론 및 기여

1) 대규모 신경 영상 데이터와 다각도 모델 비교 프레임워크

• 뇌 데이터 수집 : 약 100명의 실험자에게 400개의 고립된 문장을 읽게하여, fMRI(공간적 해상도)와 MEG(시간적  해상도) 데이터를 모두 확보함으로써 뇌 활동을 정밀하게 측정.
• 다양한 모델 실험 : GPT-2, BERT 등 기존 모델 뿐만 아니라, 레이어 수, 차원, 헤드 수를 조절한 36개의 커스텀 모델을 직접 구축하여 학습 방식에 따른 차이를 분석.
• Brain Score 측정 : Ridge Regression를 통해 AI 모델의 활성화 값으로 인간의 뇌 반응을 예측하고, 그 상관계수를 통해 유사도를 정량화함.

2) AI와 뇌의 계층적 유사성 및 수렴 입증

• 계층적 매핑 확인 : 분석 결과, AI의 시각적 임베딩은 뇌의 시각 피질과 어휘적, 어휘적 임베딩은 의미 처리 영역과 매핑됨. 특히 문맥을 처리하는 AI의 중간 계층(Middle layers)이 인간 뇌의 고차원 언어 네트워크와 가장 강력하게 유사함을 입증
• 성능과 유사도의 비례 관계 : 모델의 언어 예측 정확도(Top-1 Accuracy)가 높을수록 Brain score도 선형적으로 증가하는 경향을 발견. AI가 언어를 더 잘 이해하도록 학습될수록 뇌의 처리 방식과 닮아감을 시사
• 핵심 요인 규명 : 모델의 구조적 파라미터보다는 언어 수행 능력 자체가 뇌와의 유사성을 결정짓는 가장 지배적인 요인임을 밝혀냄. 단 초고성능 모델에서는 과도한 최적화로 인해 뇌 유사도가 정체되거나 소폭 하락하는 현상이 관찰됨.

 

발표 자료 : 하단 첨부