생각을 텍스트로 변환하는 '브레인GPT' 기술, 어떤 내용 담겼나

시드니공대 산하 인간 인공 지능(HAI)을 위한 GrapheneX-UTS 센터 연구팀이 2023년 12월 10일부터 16일까지 열린 기계학습 및 계산론적 신경과학 컨퍼런스 ‘NeurIPS’에서 뇌파를 직접 언어로 번역하는 대규모 언어 모델 ‘브레인GPT(BrainGPT)’관한 논문(DeWave: Discrete EEG Waves Encoding for Brain Dynamics to Text Translation.)을 발표했다.

연구팀은 논문에서 원시 EEG 파동을 언어로 직접 변환하여 생각을 화면에 표시되는 단어로 변환하는 데 성공했다.

EEG 파동은 뇌에서 발생하는 전기 신호를 측정하는 방법이다. EEG는 뇌전도(Electroencephalography)의 약자로, 뇌 표면에 있는 전극을 사용하여 뇌의 전기 활동을 기록한다.

EEG 파동은 주파수와 진폭에 따라 다양한 종류로 구분된다. 주파수는 1초 동안 신호가 진동하는 횟수이고, 진폭은 신호의 크기이다.

두뇌의 생각을 텍스트로 변환

연구팀은 뇌에서 텍스트로의 표출하는 과정에 개별 인코딩 기술을 통합하여 신경 디코딩에 대한 혁신적인 접근 방식을 도입했다. 이 기술과 대규모 언어 모델을 결합하면 신경과학과 인공 지능 모두에서 새로운 발전이 가능할 것으로 기대된다.

화면에 담긴 생각: DeWave 기술

이 연구는 NeurIPS 컨퍼런스에서 스포트라이트 논문으로 발표되었다. 연구에 참여한 사람들은 ‘DeWave’라는 AI 모델이 해당 단어를 화면에 투영하는 동안 텍스트의 일부를 읽을 수 있었다.

‘뇌파 번역 기술’은 이전의 뇌의 생각을 텍스트로 번역하는 방법과 몇 가지 중요한 차이점이 있다. 
첫째, 뇌 이식이나 MRI 기계가 필요하지 않다. 

둘째, 시선 추적 소프트웨어와 같은 추가 입력에 의존하는 이전 모델보다 성능이 뛰어나다.
 

사용자 친화적인 뇌 활동 기록

이 획기적인 ‘뇌파 번역 기술’의 핵심은 간단하면서도 효과적인 솔루션이다. 사용자는 뇌 활동을 기록하기 위해 뇌전도(EEG) 센서가 장착된 캡만 착용하면 된다.
임플란트와 같은 신체에 이식되는 침습적 방법에 대한 이 실용적이고 편리한 대안은 약간 더 시끄러운 신호를 생성하지만 여전히 시험에서 인상적인 성능을 보여준다.

‘뇌파 번역 기술’의 정확성과 과제

BLEU 알고리즘을 사용하여 측정한 ‘뇌파 번역 기술’의 정확도는 현재 약 0.4이다. 이는 좀 더 침습적인 방법과 동등하지는 않지만 중요한 성과이다.

BLEU 알고리즘에서 BLEU(bilingual evaluation understudy)는 기계번역을 통해 만들어진 텍스트의 퀄리티를 평가하는 알고리즘이다. BLEU는 기계 번역 결과와 사람이 직접 번역한 결과가 얼마나 유사한지 비교하여 번역에 대한 성능을 측정하는 방법이다.

이 ‘뇌파 번역 기술’은 동사 일치에 탁월하지만 명사의 정확한 번역보다 동의어 쌍을 선호하는 경향이 있다. 연구 논문의 제1저자인 Yiqun Duan에 따르면, 이는 의미상 유사한 단어에 의해 생성된 뇌파 패턴의 유사성 때문일 수 있다.

번역 정확도 높일 수 있다

연구원들은 BrainGPT의 정확도를 BLEU 알고리즘 점수로 최대 0.9까지 향상시켜 기존 언어 번역 프로그램과 일치시킬 수 있다고 믿고 있다. 테스트에 사용된 참가자 수(총 29명)가 더 많기 때문에 다른 많은 디코딩 기술 실험에 비해 이점을 얻을 수 있다.

‘뇌파 번역 기술’의 유망한 미래

이 획기적인 ‘뇌파 번역 기술’ 연구 결과는 생각을 쉽게 화면에 텍스트로 보여줄 수 있는 미래의 기술을 엿볼 수 있는 기회를 제공한다. 아직 초기 단계에 있지만 BrainGPT는 우리가 ‘뇌파 번역 기술’과 상호 작용하고 서로 소통하는 방식을 혁신할 수 있는 잠재력을 가지고 있다.