Acoustic Inspired Brain-to-Sentence Decoder for Logosyllabic Language
Rattachement africain : cn, au. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Recent advances in brain-computer interfaces (BCIs) have demonstrated the potential to decode language from brain activity into sound or text, which has predominantly focused on alphabetic languages, such as English. However, logosyllabic languages, such as Mandarin Chinese, present marked challenges for establishing decoders that cover all characters, due to its unique syllable structures, extended character sets (e.g., over 50,000 characters for Mandarin Chinese), and complex mappings between characters and syllables, thus hindering practical applications. Here, we leverage the acoustic features of Mandarin Chinese syllables, constructing prediction models for syllable components (initials, tones, and finals), and decode speech-related stereoelectroencephalography (sEEG) signals into coherent Chinese sentences. The results demonstrate a high sentence-level offline decoding performance with a median character accuracy of 71.00% over the full spectrum of characters in the best participant. We also verified that incorporating acoustic-related features into the design of prediction models substantially enhances the accuracy of initials, tones, and finals. Moreover, our findings revealed that effective speech decoding also involves subcortical structures like the thalamus in addition to traditional language-related brain regions. Overall, we established a brain-to-sentence decoder for logosyllabic languages over full character set with a large intracranial electroencephalography dataset.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Acoustic Inspired Brain-to-Sentence Decoder for Logosyllabic Language
- Date Crossref
- 01/01/2025
- Éditeur
- American Association for the Advancement of Science (AAAS)
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Westlake University pays non établi dans la noticeUniversité ou école supérieure
-
Second Affiliated Hospital of Zhejiang University Department of Neurosurgery pays non établi dans la noticeÉtablissement de santé
-
Beijing Normal University State Key Laboratory of Cognitive Neuroscience and Learning pays non établi dans la noticeUniversité ou école supérieure
-
Tongji University Center for Speech and Language Processing pays non établi dans la noticeUniversité ou école supérieure
-
University of Technology Sydney pays non établi dans la noticeUniversité ou école supérieure
-
Australian Institute of Business pays non établi dans la noticeUniversité ou école supérieure
-
Australian Institute of Nuclear Science and Engineering pays non établi dans la noticeStructure de recherche
-
School of Engineering Center of Excellence in Biomedical Research on Advanced Integrated-on-chips Neurotechnologies (CenBRAIN) pays non établi dans la noticeUniversité ou école supérieure
-
CHINA pays non établi dans la noticeInstitution
-
School of Foreign Languages pays non établi dans la noticeUniversité ou école supérieure
-
School of Computer Science Australian AI Institute pays non établi dans la noticeUniversité ou école supérieure
-
Key Laboratory of Precise Treatment and Clinical Translational Research of Neurological Diseases of Zhejiang Province pays non établi dans la noticeStructure de recherche
Westlake University, Department of Neurosurgery — Second Affiliated Hospital of Zhejiang University et State Key Laboratory of Cognitive Neuroscience and Learning — Beijing Normal University, avec 9 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.