Spracherwerbsforschung und Sprachdiagnostik digitalsieren
Die Analyse kindlicher Spontansprachproben ist eine der zentralen, seit langem etablierten Erkenntnisquellen der Spracherwerbsforschung. Auch in der sprachtherapeutisch-logopädischen Diagnostik gilt sie als wichtige Informationsquelle. Der Prozess der Erhebung, manuellen Transkription und Auswertung von Spontansprachdaten ist allerdings mit einem enormen Zeit- und Kostenaufwand verbunden. Deshalb ist die empirische Datengrundlage aufgrund kleiner Stichproben zu Meilensteinen und Ablauf der Sprachentwicklung auf den meisten linguistischen Ebenen (z.B. Grammatik, Wortschatz) wenig umfangreich. Auch in der sprachtherapeutisch-logopädischen Diagnostik werden Spontansprachanalysen trotz ihres anerkannten Mehrwerts nicht routinemäßig eingesetzt.
Gleichzeitig sind Entwicklungen im Bereich der digitalen Spracherkennung und –verarbeitung inzwischen soweit fortgeschritten, dass Anwendungen in der linguistischen und sprachtherapeutischen Forschung und Praxis möglich erscheinen. Im Bereich Erwachsenensprache sind solche Algorithmen längst in der Mainstreamnutzung angekommen (s. Alexa, Siri oder Dragon Speech). Die Verarbeitung kindlicher Sprache gestaltet sich aufgrund der Besonderheiten im akustischen und sprachlichen Bereich allerdings deutlich anspruchsvoller.
Im Projekt TALC-LSA wird ein Hard- und Softwaresystem entwickelt, welches die Aufnahme, (halb)automatische Transkription und sprachwissenschaftliche Auswertung ermöglicht kindlicher Spontansprachproben. Die Spracherwerbsforschung soll damit an der Schnittstelle der Disziplinen Linguistik, Computerlinguistik, Sprachpädagogik/Sprachtherapie und Informatik durch den Einsatz maschinellen Lernens digital transformiert werden:
- Die Ökonomisierung des Aufnahme-, Transkriptions- und Auswertungsprozesses ermöglicht eine Potentierung der Datenmenge
- Mit der Aufnahme längerer Sequenzen an Alltagskommunikation erhöht sich die Realitätsnähe der Datenbasis
- Durch die Analyse individueller Spracherwerbsumgebungen verbessert sich der Praxistransfer im Anwendungsbereich
- Die durch das digitale System generierten Daten können eine Erweiterung der Methodik von Studien zur Evaluation von Interventionen darstellen und korrespondieren mit der Forderung der Messung von Veränderungen im Alltag der Betroffenen (z.B. familiäre oder institutionelle Kontexte)
Was ist TALC-LSA?
Das TALC-LSA soll aus einem kleinen, tragbaren Rekorder, welcher die Aufnahme von mehreren Stunden Sprachmaterial erlaubt bestehen. Die zugehörige Software soll zunächst die Äußerungen der aufgenommenen Kommunikationspartner (z.B. Kind-pädagogische Fachkraft) personenzugeordnet (halb)automatisch transkribieren. In einem weiteren Schritt soll eine automatische deskriptive und linguistische Auswertung von ausgewählten Verteilungs- und Sprachparametern (z.B. Anzahl und Art der Wörter, Sprecherwechsel, Wortarten, lexikalische Diversität) und Audiodaten der Umgebung (z.B. Geräusche elektronischer Medien) erfolgen. Perspektivisch soll dies auch für mehrsprachige Kommunikation und in institutionellen Kontexten (z.B. Kita oder Schule) ermöglicht werden.
Projektstatus
TALC-LSA hat zwei parallele Projektstränge in Deutschland und Südafrika. An beiden Standorten arbeiten komplementäre Teams der Disziplinen Sprachtherapie, (Computer)linguistik und Informatik/Elektroingenieurswesen an den benötigten Systemen.
Die Pilotstudien in beiden Ländern sind im Jahr 2019 gestartet. TALC-LSA wird in Deutschland zunächst für das Deutsche und in Südafrika für Afrikaans entwickelt. Das südafrikanische Team hat 2022 mit der Datenerhebung auf Sesotho Leboa begonnen, für 2024 ist eine Erweiterung auf isiXhosa geplant. In Deutschland wird die TALC-Software im 2023 startenden Teilprojekt TALC-CI erstmals in einem klinischen Setting pilotiert.
Die Leitung des TALC Projekts in Südafrika übernimmt Frau Prof. Jeannie van der Linde von der Universität Pretoria.
Publikationen
2023
- Gebauer, C., Rumberg, L., Ehlert, H., Lüdtke, U. & Ostermann, J. (2023). Exploiting Diversity of Automatic Transcripts from Distinct Speech Recognition Techniques for Children’s Speech. Proceedings INTERSPEECH -- 24th Annual Conference of the International Speech Communication Association, August 2023, 4578-4582.
- Rumberg, L., Gebauer, C., Ehlert, H., Wallbaum, M., Lüdtke, U. & Ostermann, J. (2023). Uncertainty Estimation for Connectionist Temporal Classification Based Automatic Speech Recognition. Proceedings INTERSPEECH -- 24th Annual Conference of the International Speech Communication Association August 2023, 4583-4587.
- Lüdtke, U., Ehlert, H., Gaigulo, D., & Bornam, J. (2023). Research on the Methodology of LSA with Preschool Children: A Scoping Review. Clinical Archives of Communication Disorders, 8(2), 29-46.
- Ehlert, H., Beaulac, E., Wallbaum, M., Gebauer, C., Rumberg, L., Ostermann, J., & Lüdtke, U. (2023). Collecting and Annotating Natural Child Speech Data - Challenges and Interdisciplinary Perspectives. Elektronische Sprachsignalverarbeitung, Tagungsband der 34. Konferenz, München, März 2023, 72-78.
- Gebauer, C., Rumberg, L., & Ostermann, J. (2023). Pronunciation Modelling for Children's Speech. Elektronische Sprachsignalverarbeitung, Tagungsband der 34. Konferenz, München, März 2023, 79-86.
- Lüdtke, U., Bornman, J., de Wet, F., Heid, U., Ostermann, J., Rumberg, L., van der Linde, J., & Ehlert, H. (2023). Multi-disciplinary perspectives on automatic analysis of children's language samples: Where do we go from here? Folia Phoniatrica et Logopaedica, 75(1), 1-12. doi: 10.1159/000527427
2022
- Rumberg, L., Gebauer, C., Ehlert, H., Lüdtke, U. & Ostermann, J. (2022). Improving Phonetic Transcriptions of Children’s Speech by Pronunciation Modelling with Constrained CTC-Decoding. Proceedings INTERSPEECH -- 23th Annual Conference of the International Speech Communication Association, September 2022, 1357-1361.
2021
- Rumberg, L., Ehlert, H., Lüdtke, U. & Ostermann, J. (2021). Age-Invariant Training for End-to-End Child Speech Recognition using Adversarial Multi-Task Learning. Proceedings INTERSPEECH -- 22th Annual Conference of the International Speech Communication Association, August 2021, 3850-3854.