Internationale Zusammenarbeit für große Forschungserfolge

Seit mehreren Jahren arbeit­en das Cog­ni­tive Sys­tems Lab (CSL) der Uni­ver­sität Bre­men, das Depart­ment of Neu­ro­surgery an der nieder­ländis­chen Maas­tricht Uni­ver­sität und das ASPEN Lab an der Vir­ginia Com­mon­wealth Uni­ver­sität (USA) an ein­er Neu­rosprach­prothese. Das Ziel: Sprach­be­zo­gene neu­ronale Prozesse im Gehirn direkt in hör­bare Sprache umzuset­zen. Dieses Ziel ist nun erre­icht worden:

„Wir haben es geschafft, dass unsere Ver­suchsper­so­n­en sich reden hören, obwohl sie sich das Sprechen nur vorstellen. Die Gehirn­strom­sig­nale von frei­willi­gen Proban­den, die sich vorstellen zu sprechen, wer­den durch unsere Neu­rosprach­prothese direkt in eine hör­bare Aus­gabe über­führt – und zwar in Echtzeit ohne wahrnehm­bare Verzögerung!“
— Pro­fes­sorin Tan­ja Schultz, Lei­t­erin des CSL

Die inno­v­a­tive Neu­rosprach­prothese basiert auf einem Closed-Loop-Sys­tem, das Tech­nolo­gien aus der mod­er­nen Sprach­syn­these mit Gehirn-Com­put­er-Schnittstellen verbindet. Dieses Sys­tem wurde von Miguel Angrick am CSL entwick­elt. Als Eingabe erhält es die neu­ronalen Sig­nale der Nutzen­den, die sich vorstellen zu sprechen. Es trans­formiert diese mit­tels maschineller Lern­ver­fahren prak­tisch zeit­gle­ich in Sprache und gibt diese hör­bar als Rück­mel­dung an die Nutzen­den aus. „Dadurch schließt sich für diese der Kreis vom Vorstellen des Sprechens und dem Hören ihrer Sprache“, so Angrick.

Studie mit freiwilliger Epilepsiepatientin

Die in „Nature Com­mu­ni­ca­tions Biol­o­gy“ veröf­fentlichte Arbeit basiert auf ein­er Studie mit ein­er frei­willi­gen Epilep­siepa­ti­entin, der zu medi­zinis­chen Unter­suchun­gen Tiefenelek­tro­den implantiert wur­den und die sich zur klin­is­chen Überwachung im Kranken­haus aufhielt. Im ersten Schritt las die Pati­entin Texte vor, aus denen das Closed-Loop-Sys­tem mit­tels maschineller Lern­ver­fahren die Kor­re­spon­denz zwis­chen Sprache und neu­ronaler Aktiv­ität lernte. „Im zweit­en Schritt wurde dieser Lern­vor­gang mit geflüstert­er und mit vorgestell­ter Sprache wieder­holt“, erläutert Miguel Angrick. „Dabei erzeugte das Closed-Loop-Sys­tem syn­thetisierte Sprache. Obwohl das Sys­tem die Kor­re­spon­den­zen auss­chließlich auf hör­bar­er Sprache gel­ernt hat­te, wird auch bei geflüstert­er und bei vorgestell­ter Sprache eine hör­bare Aus­gabe erzeugt.“ Dies lasse den Schluss zu, dass die zugrun­deliegen­den Sprach­prozesse im Gehirn für hör­bar pro­duzierte Sprache ver­gle­ich­bar sind zu denen für geflüsterte und vorgestellte Sprache.

Wichtige Rolle des Bremer Cognitive Systems Lab

„Sprach­neu­ro­prothetik zielt darauf ab, Per­so­n­en, die auf­grund kör­per­lich­er oder neu­rol­o­gis­ch­er Beein­träch­ti­gun­gen nicht sprechen kön­nen, einen natür­lichen Kom­mu­nika­tion­skanal zu bieten“, erläutert Pro­fes­sorin Tan­ja Schultz den Hin­ter­grund für die inten­siv­en Forschungsak­tiv­itäten auf diesem Gebi­et, bei denen das Cog­ni­tive Sys­tems Lab der Uni­ver­sität Bre­men eine weltweit beachtete Rolle spielt. „Die Echtzeit­syn­these akustis­ch­er Sprache direkt aus gemessen­er neu­ronaler Aktiv­ität kön­nte natür­liche Gespräche ermöglichen und die Leben­squal­ität von Men­schen deut­lich verbessern, deren Kom­mu­nika­tion­s­möglichkeit­en stark eingeschränkt sind.“
Die bahn­brechende Neuerung ist das Ergeb­nis ein­er langjähri­gen Koop­er­a­tion, die im Rah­men des Forschung­spro­gramms „Mul­ti­lat­erale Zusam­me­nar­beit in Com­pu­ta­tion­al Neu­ro­science“ gemein­sam vom Bun­desmin­is­teri­um für Bil­dung und Forschung (BMBF) und der amerikanis­chen Nation­al Sci­ence Foun­da­tion (NSF) finanziert wird. Diese Koop­er­a­tion mit Pro­fes­sor Dean Krusien­s­ki (ASPEN Lab, Vir­ginia Com­mon­wealth Uni­ver­si­ty) wurde gemein­sam mit dem ehe­ma­li­gen Mitar­beit­er des CSL, Dr. Chris­t­ian Herff, im Rah­men des erfol­gre­ichen Pro­jek­tes RESPONSE (REveal­ing SPON­ta­neous Speech process­es in Elec­tro­cor­ticog­ra­phy) aufge­baut. Sie wird aktuell mit CSL-Mitar­beit­er Miguel Angrick im Pro­jekt ADSPEED (ADap­tive Low-Laten­cy SPEEch Decod­ing and syn­the­sis using intracra­nial sig­nals) fort­ge­set­zt. Dr. Chris­t­ian Herff ist mit­tler­weile Assis­ten­zpro­fes­sor an der Uni­ver­sität Maastricht.