마비 환자의 동시 다중 모달 커뮤니케이션 실현: 단일 ECoG 임플란트를 통한 음성 및 제스처 동시 해독

뇌졸중이나 신경퇴행성 질환 (근위축성 측삭 경화증: ALS 등) 은 말하기와 비언어적 제스처를 모두 손상시켜 환자의 사회적 참여와 삶의 질을 크게 저하시킵니다. 뇌 - 컴퓨터 인터페이스 (BCI) 는 감각 운동 피질의 신경 활동을 외부 기기의 명령으로 변환하여 이러한 기능을 회복시키는 것을 목표로 하지만,これまでの 연구는 주로 음성 또는 제스처 중 하나를 단독으로 해독하는 데 중점을 두었습니다. 자연스러운 의사소통은 말하기와 제스처가 동시에 이루어지는 경우가 많으며, 단일 BCI 임플란트가 이러한 여러 효과기 (effector) 를 동시에 정확하게 해독할 수 있는지는 실용화 측면에서 중요한 미해결 과제였습니다.

본 연구에서는 중증 마비를 가진 3 명의 참가자를 대상으로 단일 고밀도 ECoG 임플란트가 상지 운동과 구안면 운동 (음성 관련) 을 포함한 다양한 효과기의 신경 표현을 동시에 샘플링할 수 있음을 입증했습니다. 특히, 음성 및 제스처를 단독으로 수행하는 경우뿐만 아니라 두 가지를 동시에 수행하는 시도에서도 병렬 디코더를 사용하여 가상 아바타를 제어할 수 있음을 보여주었습니다. 중요한 점은 단독 행동 데이터만으로 훈련된 모델은 동시 행동에 대한 일반화가 불충분한 반면, 단독 및 동시 데이터를 모두 사용하여 훈련한 하이브리드 모델은 모든 행동 맥락에서 높은 정확도를 유지하고 오류 감지율을 크게 낮출 수 있었다는 것입니다.

연구는 UCSF 에서 장기간 임플란트된 3 명의 참가자 (Bravo-1r, Bravo-3, Bravo-6) 를 대상으로 진행되었습니다. 참가자들은 발화 (묵독 또는 발성) 와 다양한 손 및 팔 제스처를 단독 또는 동시에 수행하는 과제를 수행했습니다. 신경 활동은 고감마 활동 (HGA; 70–150 Hz) 으로 기록되었으며, 감각 운동 피질 위의 전극 배치가 체성 감각 지도 (소마토토피) 에 따라 배치된 것이 확인되었습니다.

• 단일 ECoG 어레이가 머리, 눈, 손, 팔, 구안면, 발화 영역의 신경 활동을 광범위하게 커버하여 부분적으로 겹치지만 구별 가능한 패턴을 추출했습니다.
• 동시 행동 시의 신경 패턴은 단독 행동 시와 다르며, 단독 데이터만으로 훈련된 디코더는 동시 행동 해독 정확도가 저하되었습니다.
• '컨텍스트 포함형'훈련 (단독 데이터와 동시 데이터를 모두 학습에 사용) 과 '크로스 모달'훈련 (반대 모달리티를 '휴식'으로 학습) 을 도입함으로써, 동시 및 단독 맥락 모두에서 해독 정확도가 향상되고 오류 감지율이 감소했습니다.
• 해독된 음성 및 제스처를 실시간으로 반영하는 맞춤형 풀바디 아바타를 제어하는 실증 실험에 성공했습니다.

이 연구 결과는 신경퇴행성 질환 및 뇌졸중 후 재활, BCI 개발에서 중요한 이정표입니다. 특히, 여러 운동 기능을 동시에 제어하는 시스템의 신뢰성을 높이기 위한 훈련 전략 (컨텍스트 포함형 학습) 은 향후 임상 적용에서 환자가 보다 자연스러운 대화를 수행하기 위한 기반이 됩니다. 또한, 신경 신호의 중첩을 극복하고 여러 효과기를 독립적으로 제어하는 알고리즘 최적화는 신경 재생 연구 및 뇌 기능 가소성을 평가하는 전임상 모델에서 새로운 평가 지표를 제공할 가능성이 있습니다.

BCI 기술의 발전과 함께 이를 검증하기 위한 전임상 모델의 중요성이 커지고 있습니다. 본 연구에서 사용된 것과 같은 다기능 BCI 시스템을 평가하기 위해서는 신경 활동 기록 및 운동 제어 분석에 특화된 동물 모델이 필요합니다. 예를 들어, 신경퇴행성 질환 모델 마우스나 특정 신경 회로를 조작 가능한 유전자 변형 마우스를 사용하여 뇌 내 신경 활동 패턴과 운동 출력 간의 관계를 규명하는 연구가 기대됩니다. 또한, 유전자 편집 기술 (타겟 유전자 편집 등) 을 사용하여 신경 회로의 기능이나 가소성을 제어하는 모델을 구축하고, BCI 관련 신경 메커니즘을 규명하는 접근법도 유효합니다.

본 연구는 단일 뇌 임플란트에서 음성 및 제스처를 동시에 해독하여 자연스러운 의사소통을 복원할 가능성을 보인 획기적인 성과입니다. 적절한 훈련 전략을 통해 여러 운동 기능을 동시에 제어하는 BCI 의 실용화가 가까워졌습니다. 향후 더 광범위한 어휘 지원, 장기적 안정성 확보, 그리고 전임상 모델을 이용한 메커니즘 규명이 임상 적용을 위한 다음 단계가 될 것입니다.