비침습적 '마인드 캡션' 기술 구현, 기억까지 문장으로 전환
언어 장애 환자 소통 희망 될까…'정신 사생활' 침해 등 우려도
8일 학계에 따르면 일본 가나가와 NTT 통신과학연구소 연구진은 이른바 '마인드 캡션(mind captioning)'이라는 기술을 선보이며 머릿속 생각을 실제 문장으로 옮길 수 있게 됐다고 밝혔다. 사진은 구글 AI '제미나이'가 그린 마인드 캡션 기술 상상도. (사진=제미나이) *재판매 및 DB 금지
[서울=뉴시스]윤현성 기자 = 머릿속 생각이 저절로 글로 쓰여진다면 어떨까. 공상과학(SF) 영화에서나 나올 법한 이야기가 현실로 구현한 연구가 학계에 보고됐다. 뇌 활동을 읽어내는 인공지능(AI)을 활용해 생각을 텍스트로 바꾸는 기술이 초기 개발 단계에 접어든 것으로 보인다.
8일 학계에 따르면 일본 가나가와 NTT 통신과학연구소 연구진은 이른바 '마인드 캡션(mind captioning)'이라는 기술을 선보이며 머릿속 생각을 실제 문장으로 옮길 수 있게 됐다고 밝혔다. 이같은 연구 성과는 국제학술지 '사이언스 어드밴시스(Science Advances)'에 발표됐으며, 또다른 주요 학술지인 '네이처(Nature)' 등을 통해서도 소개됐다.
마인드 캡션은 비침습적(피부를 관통하지 않는 방식) 뇌 영상 촬영만으로 사람의 머릿속에 있는 장면이나 떠올리는 생각을 문장으로 바꿔주는 기술이다. 이는 뇌가 세상을 어떻게 인지하고 해석하는지에 대한 중요한 단서를 제공할 뿐만 아니라, 뇌졸중 등으로 언어 표현에 어려움을 겪는 이들에게 새로운 소통의 길을 열어줄 것으로 기대된다.
연구진은 마인드 캡션 기술을 소개한 논문을 통해 이 기술은 생각이 말로 형성되기 전, 뇌가 정보를 어떻게 처리하고 재현하는지에 대한 깊은 통찰을 제공한다고 설명했다. 특히 단순히 단어 몇 개를 읽어내는 수준을 넘어, 복잡한 문장으로 생각을 표현할 수 있다는 점에서 과학계의 주목을 받고 있다.
뇌 활동을 통해 사람이 보고 듣는 것을 예측하는 연구는 이미 10년 이상 진행돼 왔다. 하지만 지금까지는 짧은 비디오나 추상적인 형태처럼 복잡한 내용을 뇌가 어떻게 해석하는지 해독하는 데 한계가 있었다. 과거 기술은 주로 핵심 단어 몇 개를 식별하는 수준에 머물렀기 때문이다.
연구를 주도한 일본 NTT 통신과학연구소의 계산 신경과학자 호리카와 토모야스는 기존 기술의 한계를 지적하며 "과거에는 핵심 단어만 식별했을 뿐, 비디오의 주제나 행동과 같은 완전한 맥락을 파악하지 못했다"고 진단했다. 일부 AI 모델이 스스로 문장 구조를 생성해 뇌에 실제로 재현된 것인지 확인하기 어렵다는 문제도 있었다.
호리카와 연구팀이 개발한 새로운 방법은 이런 한계를 뛰어넘었다. 연구팀은 먼저 딥 언어 AI 모델을 활용해 2000개 이상의 비디오 캡션 텍스트를 분석했다. 이를 통해 각 캡션을 고유한 수치적 '의미 서명(meaning signature)'으로 변환했다. 비유하자면 모든 문장에 고유한 '지문'을 부여한 셈이다.
이후 별도의 AI 도구는 6명의 참가자 뇌 스캔 데이터를 학습했다. 참가자들이 비디오를 시청하는 동안 AI는 뇌 활동 패턴과 각 의미 서명이 어떻게 일치하는지를 파악하도록 훈련됐다.
이렇게 훈련을 마친 일종의 '뇌 해독기(brain decoder)'는 비디오를 시청하는 사람의 새로운 뇌 스캔 데이터를 읽어내 의미 서명을 예측할 수 있게 됐다. 그리고 또 다른 AI 텍스트 생성기가 이 의미 서명에 가장 가까운 문장을 찾아내 텍스트로 변환하는 과정을 거친다.
실제 실험 사례에서도 마인드 캡션 기술의 정확성이 드러났다. 한 참가자가 폭포 꼭대기에서 사람이 뛰어내리는 짧은 비디오 클립을 시청했을 때 AI 모델은 그의 뇌 활동을 분석해 단어 조합을 추측했다.
처음에는 '봄 흐름(spring flow)'과 같은 추상적인 단어 조합으로 시작했지만, 10번째 추측에서는 '급류 위로 떨어지는 폭포(above rapid falling water fall)'로 정확도가 높아졌다. 100번째 추측에서는 '산등성이 깊은 폭포 위로 사람이 뛰어내린다(a person jumps over a deep water fall on a mountain ridge)'라는 거의 완벽에 가까운 문장을 완성해냈다.
흥미로운 점은 연구팀이 참가자들에게 이전에 시청했던 비디오 클립을 회상하도록 요청했을 때도 유사한 결과가 나왔다는 것이다. AI 모델은 이러한 회상에 대한 묘사 또한 성공적으로 생성해냈다.
이는 뇌가 단순히 무언가를 볼 때뿐만 아니라 그것을 기억해낼 때도 비슷한 방식으로 정보를 처리한다는 것을 의미한다. AI가 기억이라는 고차원적 인지 활동까지 읽어낼 수 있다는 얘기다.
마인드 캡션 기술은 비침습적 기능적 자기공명영상(fMRI)을 활용한다는 점에서 특히 주목받고 있다. 수술 등으로 뇌에 직접 장치를 이식할 필요 없이 뇌 스캔만으로 복잡한 생각을 읽어낼 수 있기 때문이다.
이 때문에 언어 표현에 어려움을 겪는 뇌 손상 환자들에게 소통의 희망을 안겨줄 것으로 기대된다. 이 기술이 상용화된다면 발화 능력을 잃은 환자들이 눈빛이나 미세한 움직임이 아닌 '생각 그 자체'로 의사를 표현할 수 있는 길이 열리는 셈이다.
물론 개인의 생각을 고스란히 드러낸다는 점에서 마인드 캡션 기술에 대한 윤리적 논란도 있다. 연구에 함께 참여한 UC버클리의 계산 신경과학자인 알렉스 후스 박사는 이번 발견이 '정신적 사생활' 문제를 낳을 수 있다고 인정했다. 연구자들이 점차 개인의 은밀한 생각, 감정, 건강 상태까지 밝혀낼 수 있는 수준에 가까워지고 있으며, 이는 이론적으로 감시, 조작, 또는 차별에 악용될 가능성도 배제할 수 없기 때문이다.
다만 연구진은 자신들의 모델이 아직 '금도를 넘지는 않았다'고 선을 긋고 있다. 마인드 캡션 기술은 참가자의 명확한 동의를 필요로 하며, 모델이 사적인 생각을 식별할 수 있는 단계는 아니라는 설명이다. 우려를 표한 후스 박사 또한 "아직 아무도 그렇게(사적 생각 식별) 할 수 있다는 것을 보여주지 못했다"며 "현재까지는 개인의 은밀한 생각을 강제로 읽어내는 수준은 아니다"라고 덧붙였다.
AI 시대가 도래하면서 AI를 통해 인간의 생각까지 읽어낼 수 있는 공상 속 세계가 현실이 되고 있다. 마인드 캡션과 같은 신기술은 인류에게 새로운 가능성을 제시할 수 있지만, 그와 함께 깊은 윤리적 성찰도 필요할 것으로 전망된다．
언어 장애 환자 소통 희망 될까…'정신 사생활' 침해 등 우려도
[서울=뉴시스]윤현성 기자 = 머릿속 생각이 저절로 글로 쓰여진다면 어떨까. 공상과학(SF) 영화에서나 나올 법한 이야기가 현실로 구현한 연구가 학계에 보고됐다. 뇌 활동을 읽어내는 인공지능(AI)을 활용해 생각을 텍스트로 바꾸는 기술이 초기 개발 단계에 접어든 것으로 보인다.
8일 학계에 따르면 일본 가나가와 NTT 통신과학연구소 연구진은 이른바 '마인드 캡션(mind captioning)'이라는 기술을 선보이며 머릿속 생각을 실제 문장으로 옮길 수 있게 됐다고 밝혔다. 이같은 연구 성과는 국제학술지 '사이언스 어드밴시스(Science Advances)'에 발표됐으며, 또다른 주요 학술지인 '네이처(Nature)' 등을 통해서도 소개됐다.
마인드 캡션은 비침습적(피부를 관통하지 않는 방식) 뇌 영상 촬영만으로 사람의 머릿속에 있는 장면이나 떠올리는 생각을 문장으로 바꿔주는 기술이다. 이는 뇌가 세상을 어떻게 인지하고 해석하는지에 대한 중요한 단서를 제공할 뿐만 아니라, 뇌졸중 등으로 언어 표현에 어려움을 겪는 이들에게 새로운 소통의 길을 열어줄 것으로 기대된다.
AI가 뇌 활동 읽어 '줄글'로 변환…단순 단어 넘어 줄거리까지 파악
연구진은 마인드 캡션 기술을 소개한 논문을 통해 이 기술은 생각이 말로 형성되기 전, 뇌가 정보를 어떻게 처리하고 재현하는지에 대한 깊은 통찰을 제공한다고 설명했다. 특히 단순히 단어 몇 개를 읽어내는 수준을 넘어, 복잡한 문장으로 생각을 표현할 수 있다는 점에서 과학계의 주목을 받고 있다.
뇌 활동을 통해 사람이 보고 듣는 것을 예측하는 연구는 이미 10년 이상 진행돼 왔다. 하지만 지금까지는 짧은 비디오나 추상적인 형태처럼 복잡한 내용을 뇌가 어떻게 해석하는지 해독하는 데 한계가 있었다. 과거 기술은 주로 핵심 단어 몇 개를 식별하는 수준에 머물렀기 때문이다.
연구를 주도한 일본 NTT 통신과학연구소의 계산 신경과학자 호리카와 토모야스는 기존 기술의 한계를 지적하며 "과거에는 핵심 단어만 식별했을 뿐, 비디오의 주제나 행동과 같은 완전한 맥락을 파악하지 못했다"고 진단했다. 일부 AI 모델이 스스로 문장 구조를 생성해 뇌에 실제로 재현된 것인지 확인하기 어렵다는 문제도 있었다.
호리카와 연구팀이 개발한 새로운 방법은 이런 한계를 뛰어넘었다. 연구팀은 먼저 딥 언어 AI 모델을 활용해 2000개 이상의 비디오 캡션 텍스트를 분석했다. 이를 통해 각 캡션을 고유한 수치적 '의미 서명(meaning signature)'으로 변환했다. 비유하자면 모든 문장에 고유한 '지문'을 부여한 셈이다.
이후 별도의 AI 도구는 6명의 참가자 뇌 스캔 데이터를 학습했다. 참가자들이 비디오를 시청하는 동안 AI는 뇌 활동 패턴과 각 의미 서명이 어떻게 일치하는지를 파악하도록 훈련됐다.
이렇게 훈련을 마친 일종의 '뇌 해독기(brain decoder)'는 비디오를 시청하는 사람의 새로운 뇌 스캔 데이터를 읽어내 의미 서명을 예측할 수 있게 됐다. 그리고 또 다른 AI 텍스트 생성기가 이 의미 서명에 가장 가까운 문장을 찾아내 텍스트로 변환하는 과정을 거친다.
'폭포 속 다이빙' 장면 묘사, 100번 걸친 추측 실험에 걸쳐 성공
실제 실험 사례에서도 마인드 캡션 기술의 정확성이 드러났다. 한 참가자가 폭포 꼭대기에서 사람이 뛰어내리는 짧은 비디오 클립을 시청했을 때 AI 모델은 그의 뇌 활동을 분석해 단어 조합을 추측했다.
처음에는 '봄 흐름(spring flow)'과 같은 추상적인 단어 조합으로 시작했지만, 10번째 추측에서는 '급류 위로 떨어지는 폭포(above rapid falling water fall)'로 정확도가 높아졌다. 100번째 추측에서는 '산등성이 깊은 폭포 위로 사람이 뛰어내린다(a person jumps over a deep water fall on a mountain ridge)'라는 거의 완벽에 가까운 문장을 완성해냈다.
흥미로운 점은 연구팀이 참가자들에게 이전에 시청했던 비디오 클립을 회상하도록 요청했을 때도 유사한 결과가 나왔다는 것이다. AI 모델은 이러한 회상에 대한 묘사 또한 성공적으로 생성해냈다.
이는 뇌가 단순히 무언가를 볼 때뿐만 아니라 그것을 기억해낼 때도 비슷한 방식으로 정보를 처리한다는 것을 의미한다. AI가 기억이라는 고차원적 인지 활동까지 읽어낼 수 있다는 얘기다.
뇌 손상 환자에게 소통 희망 될까…뇌 활동 읽어 '정신 사생활' 침해 우려도
마인드 캡션 기술은 비침습적 기능적 자기공명영상(fMRI)을 활용한다는 점에서 특히 주목받고 있다. 수술 등으로 뇌에 직접 장치를 이식할 필요 없이 뇌 스캔만으로 복잡한 생각을 읽어낼 수 있기 때문이다.
이 때문에 언어 표현에 어려움을 겪는 뇌 손상 환자들에게 소통의 희망을 안겨줄 것으로 기대된다. 이 기술이 상용화된다면 발화 능력을 잃은 환자들이 눈빛이나 미세한 움직임이 아닌 '생각 그 자체'로 의사를 표현할 수 있는 길이 열리는 셈이다.
물론 개인의 생각을 고스란히 드러낸다는 점에서 마인드 캡션 기술에 대한 윤리적 논란도 있다. 연구에 함께 참여한 UC버클리의 계산 신경과학자인 알렉스 후스 박사는 이번 발견이 '정신적 사생활' 문제를 낳을 수 있다고 인정했다. 연구자들이 점차 개인의 은밀한 생각, 감정, 건강 상태까지 밝혀낼 수 있는 수준에 가까워지고 있으며, 이는 이론적으로 감시, 조작, 또는 차별에 악용될 가능성도 배제할 수 없기 때문이다.
다만 연구진은 자신들의 모델이 아직 '금도를 넘지는 않았다'고 선을 긋고 있다. 마인드 캡션 기술은 참가자의 명확한 동의를 필요로 하며, 모델이 사적인 생각을 식별할 수 있는 단계는 아니라는 설명이다. 우려를 표한 후스 박사 또한 "아직 아무도 그렇게(사적 생각 식별) 할 수 있다는 것을 보여주지 못했다"며 "현재까지는 개인의 은밀한 생각을 강제로 읽어내는 수준은 아니다"라고 덧붙였다.
AI 시대가 도래하면서 AI를 통해 인간의 생각까지 읽어낼 수 있는 공상 속 세계가 현실이 되고 있다. 마인드 캡션과 같은 신기술은 인류에게 새로운 가능성을 제시할 수 있지만, 그와 함께 깊은 윤리적 성찰도 필요할 것으로 전망된다．
댓글목록
등록된 댓글이 없습니다.