What You Say is What You Get – Handsfree Coding in 2023

Software zur Interpretation und Synthese natürlicher Sprache wird täglich von Millionen von Menschen genutzt, die smarte Heimassistenten verwenden oder einfach lieber auf ihrem Mobiltelefon diktieren als tippen. Doch während sich Schnittstellen zur freihändigen Bedienung bei den Verbrauchern längst durchgesetzt haben, werden sie von IT-Fachleuten meist noch als Spielerei betrachtet oder überhaupt nicht für den professionellen Einsatz in Betracht gezogen - völlig zu Unrecht!

In diesem Vortrag beschreibe ich ein Null-Kosten-Setup für freihändiges Programmieren, das extrem leistungsfähig und komfortabel in der Handhabung ist. Zunächst werde ich die Grundlagen der Steuerung des Computers und der Navigation in Anwendungen nur mit der Stimme (und den Augen!) erläutern und über Best Practices und häufige Fallstricke berichten. Um den Lernprozess zu beschleunigen, werde ich in einer kurzen Coding-Session demonstrieren, wie man seine eigene Sprachbefehlsbibliothek per Sprachbefehl erweitern kann. Im Laufe des Vortrags werde ich meine persönlichen Erfahrungen teilen und erklären, wie ich mein eigenes Setup angepasst habe, um individuelle Arbeitsabläufe zu ermöglichen und zu optimieren. Am Ende des Vortrags werde ich darauf eingehen, wie ich Handsfree Coding bei meiner Arbeit einsetze und wie man mit geringem Aufwand in das Thema einsteigen kann.

Software for interpreting and synthesizing natural language is used by millions of people every day who use smart home assistants or simply prefer dictating over typing on their mobile phones. But while hands-free interfaces have found widespread adoption among consumers, IT professionals still mostly consider them gimmicks or do not consider them at all for the purpose of software development – unjustly so!

In this presentation, I will describe a zero-cost setup for hands-free coding that is extremely powerful and convenient to use. First, I will cover the basics of how to control your computer and navigate applications using just your voice (and eyes!), sharing best practices and common pitfalls. To jumpstart the learning process, I will then demonstrate how to use your own voice command library as dog food by extending the default functionality in a brief voice-coding session. Throughout the talk, I will share my personal experiences and explain how I tweaked my own setup to accommodate customized workflows. I will close the talk with how I use hands-free coding at my job and a list of pointers for getting started.

Literaturtipp: Wingerath, Wolfram/Gebauer, Michaela (2021): Sprechen ist das neue Klicken. Softwareentwicklung ohne Maus und Tastatur. In: iX (9). S. 70-73.

Word embeddings and language models with NLP tasks

In this lecture, we will learn how word and sentence vectors are extracted for downstream NLP tasks.  We will start with one-hot word encoding to average word embeddings like Word2Vec. We will end with contextualized word embeddings. We will also see the named-entity recognition and sentiment classification NLP tasks for analyzing the word embeddings.

Literaturtipp: Sahlgren, Magnus (2008): The distributional hypothesis. In: Rivista di Linguistica (20)1. S. 33–53.

Computer, Mensch und Sprache

Dieser Vortrag führt in das Thema der Ringvorlesung "Computer, Mensch, Sprache" ein. Wie sieht interdisziplinäre Forschung im Grenzgebiet zwischen Computer, Mensch und Sprache aus? Dieser Frage werde ich mich anhand von Beispielen aus meiner Forschung in den Bereichen Sprachwissenschaft (Korpuslinguistik), Computerlinguistik und Mensch-Maschine Interaktion (MMI) nähern. Dabei gibt es auch schon Ausblicke und eine erste Verortung kommender Vorträge dieser Ringvorlesung. In der Ringvorlesung und anhand eigener Forschungsprojekte wird deutlich, wie verschieden die einzelnen wissenschaftlichen Gebiete in ihren Zielsetzungen, Methoden, Denkweisen und Diskursen sein können. Für die Forschung stellt dieses Spannungsfeld zwar einige Herausforderungen dar. Gleichzeitig ermöglicht dies interessante Erkenntnisse und  Erklärungen in der Sprachwissenschaft, neue Lösungsansätze in der Sprachtechnologie sowie Zielsetzungen in der MMI.

Literaturtipp: Sugisaki, Kyoko (2022): How users solve problems with presence and affordance in interactions with conversational agents: A wizard of Oz study.

Lost in Dialogue: A Review and Categorisation of Current Dialogue System Approaches and Technical Solutions

Dialogue systems are an important and very active research area with many practical applications. However, researchers and practitioners new to the field may have difficulty with the categorisation, number and terminology of existing free and commercial systems. Our paper aims to achieve two main objectives. Firstly, based on our structured literature review, we provide a categorisation of dialogue systems according to the objective, modality, domain, architecture, and model, and provide information on the correlations among these categories. Secondly, we summarise and compare frameworks and applications of intelligent virtual assistants, commercial frameworks, research dialogue systems, and large language models according to these categories and provide system recommendations for researchers new to the field.

Literaturtipp: Kath, Hannes/ Lüers, Bengt/ Gouvêa, Thiago S./ Sonntag, Daniel (2023): Lost in Dialogue: A Review and Categorisation of Current Dialogue System Approaches and Technical Solutions. In: Seipel, Dietmar/ Steen, Alexander (Hrsg.): KI 2023: Advances in Artificial Intelligence. 46^th German Conference on Al Berlin, Germany, September 26-29, 2023 Proceedings. Cham: Springer. S. 98-113.

Das Dokument ist unter https://link.springer.com/chapter/10.1007/978-3-031-42608-7_9 zu finden und kann mit "Access via your institution" von UOL-Studierenden kostenlos heruntergeladen werden.

How Do Computers Learn to "Understand" Natural Language?

Künstliche neuronale Netzwerke zählen heute zu den zentralen Instrumenten für die maschinelle Verarbeitung natürlicher Sprache (NLP). Ihre Anwendungsbereiche erstrecken sich von Sprachübersetzung über Spam-Filterung, Sprachassistenten und Suchmaschinen bis hin zur automatischen Rechtschreibprüfung. Doch wie genau funktionieren diese künstlichen neuronalen Netze? Sind sie wirklich "intelligent"? Wie erfolgt das Lernen aus Daten? Und wie kann ein Computer ein tiefgehendes "Verständnis" für Sprache entwickeln?

Dieser Vortrag zielt darauf ab, diesen Fragen auf den Grund zu gehen. Neben einer Einführung in die grundlegende Funktionsweise neuronaler Netze werden deren vielfältige Anwendungsmöglichkeiten im Bereich der Sprachverarbeitung beleuchtet. Darüber hinaus werfen wir einen Blick auf die jüngsten Fortschritte im Bereich der sogenannten Large Language Models (LLMs) mit Milliarden von Parametern, wie beispielsweise ChatGPT.

Der Vortrag endet mit einer Diskussion des Konzepts der "Intelligenz" im Kontext des Maschinellen Lernen sowie einer eingehenden Auseinandersetzung mit den ethischen Fragen und Herausforderungen, die sich insbesondere seit dem Aufkommen immer mächtigerer LLMs ergeben. Besonderes Augenmerk liegt hierbei auf der Verantwortung und dem sorgfältigen Umgang mit Technologien wie ChatGPT, die nicht nur enorme Potenziale, sondern auch potenzielle Risiken und Gefahren in sich tragen.

Literaturtipp: Lanz, Markus/ Precht, Richard David (2023): Podcast – ChatGPT und KI - profitieren wirklich alle?

Annotation und Rating argumentativer Lernertexte für die Generierung automatisierten Feedbacks

Argumentieren ist eine wichtige kommunikative Kulturkompetenz. Bezogen auf den Erwerb stellt das schriftliche Argumentieren und insbesondere das Aufgreifen und Entkräften von Gegenargumenten oft eine kritische Fähigkeit in allen Altersgruppen dar. Eine Möglichkeit, um Argumentationskompetenzen im schulischen Kontext zu fördern, stellt computerbasiertes Feedback dar.

An diesem Punkt setzt ein laufendes DFG-Projekt mit dem Titel „Computational Support for Learning Argumentative Writing in Digital School Education“ (Leitung: Sara Rezat/Henning Wachsmuth) an. In dem Projekt werden algorithmische Methoden für die automatische Analyse argumentativer Lernertexte entwickelt mit dem Ziel, automatisch ein lernersensitives Feedback zur Struktur der argumentativen Texte zu generieren.

Dafür ist es notwendig, im ersten Schritt ein Lernerkorpus manuell bezogen auf die argumentative Makro- und Mikrostruktur zu annotieren. Mit einer solchen Kodierung ist eine Orientierung an typischen Mustern sowohl auf makrostruktureller (u.a. Aufbau des Textes aus Argumenten und Gegenargumenten) wie auch mikrostruktureller Ebene (u.a. argumentative Textprozeduren) verbunden – schließlich sollen diese Muster algorithmisch erfasst und weiterverarbeitet werden. Aus computerlinguistischer Sicht ist in einem weiteren Schritt für das Mining der Texte eine Einschätzung der inhaltlichen Qualität der Texte und ein entsprechendes Rating unabdingbar.

Im Vortrag wird zunächst ein Überblick über das Projekt und die Projektziele gegeben. Daran anschließend werden Ergebnisse der ersten beiden Projektphasen vorgestellt, und zwar zur Annotation sowie zum Rating der Lernertexte. Wie lernersensitives automatisiertes Feedback gestaltet werden kann, soll im Ausblick und in der anschließenden Diskussion erörtert werden. Der unten genannte Lektürevorschlag soll eine entsprechende Diskussionsgrundlage dafür bereitstellen.

Ghostwriting revisited. Zur Automatisierung des Schreibens

Mit ChatGPT und ähnlichen AI-Programmen ist ein ‚Sprung‘ in der Automatisierung und Hybridisierung multimodaler Textproduktion verbunden, der das Schreiben an vielen Stellen wie ein Ghostwriting erscheinen lässt. Dies wirft einige Fragen zur Theorie und Methodologie des Schreibens (und Lesens) auf (Robinson 2023), die insbesondere in Bildungskontexten relevant werden. Einschlägige deutschdidaktische Modelle – Prozess- wie auch Kompetenz- und Erwerbsmodelle – sind hier potentiell nicht mehr beschreibungsadäquat. Denn sie konzentrieren sich auf kognitive und sprachliche Prozesse von Individuen und reduzieren Digitalität auf Werkzeuge zur technischen Realisierung dieser Prozesse. Auf der Grundlage einiger theoretischer Überlegungen zur "Kultur der Digitalität" (Stalder 2016) diskutiert der Beitrag Veränderungen des Schreibens durch Digitalisierung und diskutiert Konsequenzen für Forschung und Schreibdidaktik.

Literaturtipp: Lehnen, Katrin/Steinhoff, Torsten (2023): Digitales Lesen und Schreiben. Erscheint in: Androutsopoulos, J./Vogel, F. (Hrsg.): Handbuch Sprache und digitale Kommunikation. Berlin/Boston: de Gruyter. Preprint.

Ein Blick hinter die Kulissen von ChatGPT. Einblicke aus der Maschinellen Übersetzung  

Sprachmodelle wie ChatGPT haben sich als sehr flexible Werkzeuge in der Sprachverarbeitung etabliert, aber ihre Popularität stellt Benutzer und Entwickler auch vor Herausforderungen: Biases oder gar halluzinierte Fakten in der Ausgabe können nicht ausgeschlossen werden und erfordern vorsichtigen Umgang mit Sprachmodellen.

In dieser Vorlesung werfe ich ein Licht auf die Funktionsweise von Sprachmodellen, welche technisch eng verwandt mit Modellen der Maschinellen Übersetzung sind, und erkläre, wie verschiedene Fehlerarten zustande kommen. Im zweiten Teil des Vortrags berichte ich von aktueller Forschung in der Maschinellen Übersetzung, die auf ein besseres Verständnis und eine Reduktion von Fehlerarten wie Biases in der Ausgabe oder der Halluzination von Übersetzungen abzielen. Der Vortrag wird damit enden, dass ich die Erkenntnisse aus der Maschinellen Übersetzung wieder in Bezug auf Sprachmodelle wie ChatGPT bringe.

Literaturtipp: Vamvas, Jannis/Sennrich, Rico (2021): Contrastive Conditioning for Assessing Disambiguation in MT: A Case Study of Distilled Bias. In: Association for Computational Linguistics (Hrsg.): Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, Online and Punta Cana, S. 10246-10265.

Sprache und KI in der Interaktion zwischen Menschen und digitalen Technologien

Sprache spielt bei der Nutzung digitalisierter Systeme in mehrfacher Hinsicht eine wichtige Rolle. Zum einen dient sie als geschriebene oder gesprochene Eingabe in digitalisierte Systeme und als Dialog zwischen den Nutzenden und dem digitalisierten System. Sie dient in gleicher Weise als Ausgabe für die Vermittlung von Informationen und begleitet die Interaktion und Kommunikation in der Mensch-Technik Interaktion. 

In diesem Vortrag werde ich Aspekte der Gestaltung der Interaktion von Computer, Mensch und Sprache vorstellen. Welche Rolle spielt Sprache bei der Nutzung interaktiver Systeme und welche Zugänge ermöglicht Sprache? Sprache, Sprachgewandtheit, Sprachkompetenz, Ausdrucksfähigkeit, aber auch branchenspezifisches Vokabular sind bei dieser Gestaltung von Sprache in der Interaktion von großer Bedeutung. Welche Rolle spielt KI in dieser Interaktion? Ergebnisse aus unseren Forschungsprojekten aus den Bereichen Bildung, Gesundheit und öffentliche Verwaltung illustrieren, welche Rolle Sprache und Dialog bei der Gestaltung der Mensch-Technik-Interaktion spielen.

Literaturtipp: Lunte, Tobias/Boll, Susanne (2020): Towards a gaze-contingent reading assistance for children with difficulties in reading. In: Proceedings of the 22nd International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS '20). Association for Computing Machinery, New York, NY, USA, Article 83. S. 1–4. doi.org/10.1145/3373625.3418014

Tastaturschreiben: Potentiale digitalen Schreibens für das schriftsprachliche Lernen nutzen

Der Vortrag präsentiert die Konzeption und erste Ergebnisse aus dem Projekt TasDi (Didaktik des Tastaturschreibens und der Textverarbeitung). Bei dem Projekt handelt es sich um eine deutschinternationale Kooperation zwischen Deutschland (Prof. Lisa Schüler, Universität Bielefeld), der Schweiz (Dr. Nadja Lindauer, Pädagogische Hochschule FHNW) und Österreich (Thomas Schroffenegger, Pädagogische Hochschule Vorarlberg). Diese länderübergreifende Perspektive ist interessant, weil das Tastaturschreiben in deutschen, österreichischen und schweizer Schulen unterrichtspraktisch sehr unterschiedlich umgesetzt wird. Das TasDi-Projekt zielt darauf ab, Lernmodule für das Tastaturschreiben zu entwickeln und zu evaluieren, die auf dezidiert linguistischen und schreibdidaktischen Kriterien basieren (z.B. Wort-/Buchstabenfrequenzen, schriftsystematische Regularitäten, lernförderliche Schreibaufgaben). Dafür werden Erkenntnisse der Schreibprozessforschung, der Rechtschreibdidaktik und der Schreibförderung zusammengeführt, die bisher noch nicht gezielt für die Vermittlung des 10-Finger-Schreibens fruchtbar gemacht wurden. Im Beitrag wird dargelegt, dass bei der Entwicklung von Lerneinheiten für das Tastaturschreiben sowohl motorische als auch sprachliche (i.e.S. schriftstrukturelle) Prinzipien von Bedeutung sind. Analysen von Lernmaterialien deuten allerdings darauf hin, dass bisher ein Ungleichgewicht zugunsten der motorischen Prinzipien besteht. Es werden erste Entwürfe zu Lerneinheiten vorgestellt, in denen motorische und sprachliche Prinzipien ausbalanciert sind und die auf diese Weise Potentiale für das schriftsprachliche Lernen beim Tastaturschreiben freisetzen sollen. In der Diskussion der Entwürfe soll dann auch ein Fokus auf der Frage liegen, wie sich die Erstellung dieser (in sprachlicher und motorischer Hinsicht) optimierten Lerneinheiten gemäß verschiedener Kriterien automatisieren lässt (z.B. Auswahl typischer Bigramme des Deutschen, die gleichermaßen beide Hände oder speziell bestimmte Finger im Training ansprechen).

Literaturtipp: Schüler, Lisa/Lindauer, Nadja/Schroffenegger, Thomas (2023). Tastaturschreiblehrgänge – eine schreibdidaktische Leerstelle? MiDU – Medien im Deutschunterricht (5)2. S. 1–23.

Praxisanwendung: Eine KI basierte Suchmaschine zur Beantwortung juristischer Fragen aus dem Bereich „Mietrecht“.

Der Vortrag stellt die Software von dem Legal Tech-Startup legiety vor, welches künstliche Intelligenz und Natural Language Processing nutzt, um juristische Fragen von Jurist:innen im Rechtsgebiet Mietrecht automatisiert zu beantworten. Das Ziel ist Folgendes: Die KI basierte Suchmaschine soll die Recherchezeit von Jurist:innen verringern und so deren tägliche Arbeit erleichtern und optimieren. Die Suchmaschine findet auf Fragen wie z.B. „Darf ich eine Katze in meiner Wohnung halten?“ sehr schnell passende Normen und Gerichtsurteile. Sie ist in der Lage, riesige Datensätze in sehr kurzer Zeit zu analysieren und entsprechend fundierte Ergebnisse zurückzugeben. Der Vortrag wird praxisnah mit einer Live-Demo der Software abgerundet. Wir erläutern die Funktionsweise und das Training der KI-Modelle und zeigen auf, wie die Wahrscheinlichkeit von Halluzinationen minimiert und die Qualität der Antworten erhöht werden kann.

Literaturtipp: Tunstall, Lewis/von Werra, Leandro/Wolf, Thomas (2022): Natural Language Processing with Transformers. Building Language Applications with Hugging Face. Revised Edition. Sebastopol: O'Reilly (Chapter 7: Question Answering). 

Akustische Maße der Stimmqualität und ihre Relevanz für die Mehrsprachigkeitsforschung

Das Interesse an der Stimmqualität erstreckt sich über so unterschiedliche Disziplinen wie die Phonetik, Otorhinolaryngologie, Phoniatrie, Musikwissenschaft und Psychologie. Auch für die Sprachsynthese, Automatische Spracherkennung und Hörforschung gewinnt die Stimmqualität zunehmend an Bedeutung. Aufgrund der komplexen Beziehungen zwischen Wahrnehmung, Akustik und Physiologie der menschlichen Stimme gilt die Erforschung der Stimmqualität als ein spannendes, aber auch anspruchsvolles Forschungsfeld.

Die Vorlesung gibt einen Überblick über akustische Maße zur Erfassung stimmlicher Variation und illustriert die Relevanz der Untersuchung der Stimmqualität für die Sprachwissenschaft am Beispiel der Mehrsprachigkeitsforschung. Hierzu werden Daten aus einem Forschungsprojekt vorgestellt, in dem akustische Merkmale der Stimme als Indikatoren für die kognitive Belastung beim bilingualen Gebrauch des Hoch- und Niederdeutschen genutzt wurden. In der Vorlesung soll gezeigt werden, dass diese Forschung neue Wege zur Einschätzung des Gefährdungsgrades von Regional- und Minderheitensprachen eröffnet.

Literaturtipp: d’Alessandro, Christophe (2006): Voice source parameters and prosodic analysis. Methods in Empirical Prosody Research. In: Stefan Sudhoff et. al. (Hrsg.): Methods in Empirical Prosody Research. Berlin/New York: de Gruyter. S. 63-87.

Sprachverarbeitungstechnologien für die Sprachtherapie /Speech Processing Technologies for Speech and Language Therapy

Systeme, die auf künstlicher Intelligenz (KI) basieren, sind allgegenwertig und werden in jeglichen Lebenswelten erforscht und genutzt. Die Forschung und Entwicklung von KI-Systemen im Gesundheitswesen werden immer schneller und intensiver vorangetrieben. Die technologischen Ansätze basieren auf maschinellem Lernen, neuronale Netzen oder der Verarbeitung von natürlicher Sprache und werden in mobilen Anwendungen (Apps), Robotern und anderer Softwareumgebung integriert. Ein Großteil aktueller Forschungen zielt auf die Entwicklung von Diagnose- und Screeningverfahren sowie die medizinische Bildgebung.

Studien zur KI-basierten ergänzenden oder unterstützenden Sprachtherapie gibt es hingegen wenige. Herausforderungen für Forschung und Entwicklung algorithmenbasierter Verfahren liegen zum einen bei der Standardisierung und dem Schutz der Privatsphäre bei medizinischen Daten. Auch scheint es sich zunächst um einen Widerspruch zu handeln, dass entsprechende Verfahren große Datenmengen fordern, die Inter- und Intraindividualität sprachpathologischer Daten jedoch hoch ist. Schließlich performen KI-basierte Medizinsysteme im Rahmen der klinischen Validierung in realen Situationen im Vergleich zu Experten (Ärzt:innen, Therapeut:innen) schlechter. Die aktuelle Studienlage zeigt auch, dass mehr Forschung für Erwachsene als für Kinder im genannten Kontext sattfindet. Kindersprache zeigt auch bei physiologischer Entwicklung eine höhere Varianz.

Dennoch sind das Potential und der Mehrwert hoch: Zum einen kann die Therapiefrequenz über Appbasiertes Training gesteigert und dabei individuelles sowie direktes Feedback über diese Systeme umgesetzt werden. Zum anderen lassen sich Screenings als auch Therapieverläufe objektivieren und Therapieerfolge steigern und -kosten reduzieren. Sowohl Kinder als auch Erwachsene werden angesprochen.

Literaturtipps:

Wang, Anran/ Xiu, Xiaolei/ Liu, Shengyu/ Qian, Qing/ Wu, Sizhu (2022): Characteristics of Artificial Intelligence Clinical Trials in the Field of Healthcare: A Cross-Sectional Study on ClinicialTrials.gov. In: International Journal of Environmental Research and Public Health (19)20. S. 13691. Online verfügbar unter: www.mdpi.com/1660-4601/19/20/13691

Askin, Scott/ Burkhalter, Denis/ Calado, Gilda/ El Dakrouni, Samar (2023): Artificial Intelligence Applied to clinical trials: opportunities and challenges. In: Health and Technology (13)2. S. 203-213. Online verfügbar unter: link-springer-com.proxy02a.bis.uni-oldenburg.de/article/10.1007/s12553-023-00738-2  

Tuschen, Laura (2022): Einsatz von Sprachverarbeitungstechnologien in der Logopädie und Sprachtherapie. In: Sprache· Stimme· Gehör (46)1. S. 33-39.

Cortical representations of function versus content words while  listening to speech in natural soundscapes at different levels of simulated hearing loss

Literaturtipp: Häusler, Christian Olaf/Hanke, Michael (2001): A studyforrest extension, an annotation of spoken language in the German dubbed movie “Forrest Gump” and its audio-description [version 1; peer review: 1 approved, 2 approved with reservations]. In: F1000Research 2021, 10:54. (https://doi.org/10.12688/f1000research.27621.1)

What You Say is What You Get – Handsfree Coding in 2022

Software zur Interpretation und Synthese natürlicher Sprache wird täglich von Millionen von Menschen genutzt, die smarte Heimassistenten verwenden oder einfach lieber auf ihrem Mobiltelefon diktieren als tippen. Doch während sich Schnittstellen zur freihändigen Bedienung bei den Verbrauchern längst durchgesetzt haben, werden sie von IT-Fachleuten meist noch als Spielerei betrachtet oder überhaupt nicht für den professionellen Einsatz in Betracht gezogen - völlig zu Unrecht!

In diesem Vortrag beschreibe ich ein Null-Kosten-Setup für freihändiges Programmieren, das extrem leistungsfähig und komfortabel in der Handhabung ist. Zunächst werde ich die Grundlagen der Steuerung des Computers und der Navigation in Anwendungen nur mit der Stimme (und den Augen und Mimik und mehr!) erläutern und über Best Practices und häufige Fallstricke berichten. Um den Lernprozess zu beschleunigen, werde ich in einer kurzen Coding-Session demonstrieren, wie man seine eigene Sprachbefehlsbibliothek per Sprachbefehl erweitern kann. Im Laufe des Vortrags werde ich meine persönlichen Erfahrungen teilen und erklären, wie ich mein eigenes Setup angepasst habe, um individuelle Arbeitsabläufe zu ermöglichen und zu optimieren. Am Ende des Vortrags werde ich darauf eingehen, wie ich Handsfree Coding bei meiner Arbeit einsetze wie man mit geringem Aufwand in das Thema einsteigen kann.

Literaturtipps: Sprechen ist das neue Klicken

Doing Linguistics Using Robots

Robots make excellent confederates in the experimental investigation of the meanings and functions of linguistic features, especially interactional and interpersonal effects, which are otherwise hard to identify empirically. This is because robots are controllable in ways humans are not and present exactly the same stimuli for all participants in identical ways, while at the same time being embodied and somewhat unknown interaction partners, which makes methodological constraints natural and acceptable.

In this talk, I present examples from several years of work in which I have used robots to study aspects of language and speech.

Literaturtipp: Studying Language Attitudes Using Robots

Die Sprache gibt es nicht. Das zeigt der Computer.

In der Linguistik werden seit geraumer Zeit umfangreiche Textsammlungen als sog. "Korpora" quantitativ und qualitativ ausgewertet, um Sprachgebrauch modellieren zu können. Damit verbunden ist die Prämisse, dass der Fokus der modernen Linguistik weniger auf der Idee von Sprache als System, sondern von Sprache als Sprachgebrauch in der Gesellschaft verstanden wird. Die statistische Analyse von großen Textkorpora bietet sich bei einer solchen Perspektive besonders an.

Welche Methoden werden nun angewandt, um solche Daten zu analysieren? Und welche Forschungsfragen lassen sich damit beantworten? Im Vortrag zeige ich Forschung aus verschiedenen Bereichen, z.B. zum Sprachgebrauch in der Corona-Pandemie. Deutlich wird dabei, dass es nicht sinnvoll ist anzunehmen, dass es "die Sprache" gibt und diese modellieren zu wollen, sondern dass es plausibler ist, unterschiedliche Sprachgebräuche zu modellieren und zu analysieren. Moderne Methoden der distributionellen Semantik (sog. Word Embeddings auf Basis von neuronalem Lernen) bieten sich hierzu an – allerdings nur dann, wenn damit auch ein entsprechendes theoretisches Verständnis verbunden ist.

Literaturtipps: Exploration semantischer Räume im Corona-Diskurs

Natural Language Processing: How Do Computers Learn to "Understand" Natural Language? 

Künstliche neuronale Netze gehören heutzutage zu den wichtigsten Systemen, die zur maschinellen Verarbeitung natürlicher Sprache verwendet werden. Ob Sprachübersetzer, Spam-Filter, Sprachassistenten, Suchmaschinen oder automatische Rechtschreibprüfung - wir verwenden neuronale Netze tagtäglich, oftmals ohne es zu merken. Doch was sind künstliche neuronale Netze überhaupt? Wie funktioniert das Lernen von Daten? Wie können Computer ein "Verständnis" von Sprache entwickeln? Dieser Vortrag möchte diesen Fragen (und einigen weiteren) auf den Grund gehen. Hierzu werden wir neben den sogenannten feedforward neuronalen Netzen auch rekurrente Architekturen und deren Anwenungsmöglichkeiten zur Sprachverarbeitung kennenlernen. Darüber hinaus werden wir die neuesten Entwicklungen im Bereich der Transformer-basierten Sprachmodelle bis hin zu den größten Modellen mit mehreren Milliarden Parametern betrachten. Der Vortrag schließt mit einer kritischen Diskussion ethischer Fragestellungen und Problematiken, die der Einsatz von maschinellem Lernen zum Zwecke der Sprachverarbeitung mit sich bringt.

Literaturtipp: Five sources of bias in natural language processing.

Artificial and biological intelligence: How machine learning can advance our understanding of speech processing in the human brain

Literaturtipps: 

• Generalizable dimensions of human cortical auditory processing of speech in natural soundscapes: A data-driven ultra high field fMRI approach
• Encoding and Decoding Models in Cognitive Electrophysiology (Paper & Tutorial) 
• Rapid tuning shifts in human auditory cortex enhance speech intelligibility
• Categorical representation of phonemes in the human superior temporal gyrus

Artikulatorische Sprachsynthese mit VocalTractLab

Dieser Vortrag gibt eine Einführung in die artikulatorische Sprachsynthese mit einem Fokus auf das System VocalTractLab. Im Gegensatz zu den derzeit verbreiteten Verfahren der Verkettungssynthese oder der Sprachsynthese auf Basis neuronaler Vocoder verwendet die artikulatorische Synthese Modelle des Vokaltrakts, der Stimmlippen, der Aerodynamik und Akustik, sowie der Steuerung der Modellartikulatoren. Damit handelt es sich um eine Simulation des Spracherzeugungsprozesses mit einer hohen Flexibilität bezüglich der erzeugten Sprache. Im Vortrag werden die einzelnen Teilmodelle des Systems vorgestellt und erläutert, welche neuen Forschungsfragen sich aus der Simulation ergeben. Außerdem werden verschiedene Anwendungen der artikulatorischen Synthese vorgestellt.

Literaturtipps: Modeling Consonant-Vowel Coarticulation for Articulatory Speech Synthesis 

Erstellung eines maschinell annotierten Sprachkorpus (CARInA); von der Abschlussarbeit in die Wissenschaft 

Dieser Vortrag stellt die Ergebnisse und den Prozess einer Diplomarbeit von der Themenfindung bis zur Publikation vor. Gegenstand der Abschlussarbeit war die Erstellung eines deutschen Sprachkorpus, welcher unter anderem für die Sprachsynthese genutzt werden kann und somit Annotationen auf unterschiedlichen Ebenen benötigt. Das Sprachmaterial des Korpus wurde der Plattform Wikipedia entnommen, die Annotationen mit unterschiedlichen Tools automatisch hinzugefügt. Typischer Anwendungsbereich gesprochener Korpora ist das Training neuronaler Modelle zur Spracherkennung, Personenerkennung, Sprachsynthese und Sprachanalyse. Die Erstellung hochwertiger handannotierter Korpora ist sowohl zeit- als auch kostenintensiv, wodurch für viele Anwendungen maschinell erstellte Korpora bevorzugt werden.

Literaturtipp: CARINA – A Corpus of Aligned German Read Speech Including Annotations

Mündliche Korpora – Manuelle und automatisierte Herangehensweisen an Gespräche und gesprochene Sprache

Mündliche Korpora – also Audio- oder Videoaufnahmen natürlicher, spontaner Interaktion, die durch Transkription und Annotation für eine Analyse erschlossen werden – werden mindestens seit den 1950er Jahren von SprachwissenschaftlerInnen erhoben, um beispielsweise Variation (Dialekte) oder pragmatische Aspekte der verbalen Interaktion zu untersuchen. In vordigitaler Zeit bedeutete die Arbeit mit mündlichen Korpora das Hantieren mit Tonbändern, Schreibmaschinen und Zettelkästen. Heute existieren ausgereifte Workflows, die „digital geborene“ Aufnahmen in teilweise automatischen, teilweise durch digitale Tools unterstützten manuellen Vorgängen schrittweise um Informationen anreichern, um diese dann – wiederum durch digitale Werkzeuge unterstützt – für die Analyse nutzen oder web-basiert weitergeben zu können. Nichtsdestotrotz bleibt die Erhebung und Erschließung von und korpuslinguistische Arbeit mit gesprochener Sprache ein aufwändiges und komplexes Unterfangen.

In meinem Beitrag zur Ringvorlesung werde ich den Workflow vorstellen, der beim Aufbau des Forschungs- und Lehrkorpus Gesprochenes Deutsch (FOLK) zur Anwendung kommt (Schmidt 2016). Anschließend diskutiere ich die Rolle, die maschinelle Methoden wie automatische Spracherkennung und andere Verfahren aus Computerlinguistik, Natural Language Processing oder „Künstlicher Intelligenz“ derzeit in der Arbeit mit mündlichen Korpora spielen und wie sie zukünftig zum Einsatz kommen können.

Literaturtipps: Construction and Dissemination of a Corpus of Spoken Interaction - Tools and Workflows in the FOLK project

AudioCAT – Kompetenzprüfung über sprachgesteuerte Computerdialogsysteme

Eine effektive Kommunikation ist der Grundsatz für eine erfolgreiche Teamarbeit. Dies ist auch maßgeblich, wenn es zu herausfordernden oder stressigen Momenten innerhalb des Berufsfeldes kommt. Sinnbild für diese Problematik ist die aktuelle Situation innerhalb der medizinischen Pflege. Die anspruchsvollen Grundvoraussetzungen sind für die Teams mit unterschiedlichen Muttersprachen und diversen kulturellen Hintergründen oft schwer miteinander zu vereinbaren. Dabei geht es nicht nur um das Fachwissen, sondern auch um die persönlichen Entscheidungswege, die innerhalb eines Teams durch die sogenannten „Soft Skills“ repräsentiert werden.

Das AudioCAT Projekt setzt hier an, indem ein automatisierter Prozess zur Evaluation der Fachkenntnisse und Soft Skills entwickelt wird. AudioCAT ist ein Verbundprojekt der worldiety GmbH, des Fraunhofer IDMT und der Hochschule Flensburg. Gefördert wird das Projekt vom Bundesministerium für Bildung und Forschung.

Kern des AudioCAT Projektes ist die Mensch-Maschine-Interaktion. Proband:innen durchlaufen die Testszenarien als interaktiven Fragebogen. Die Antworten der Proband:innen werden dabei direkt über ein Mikrofon eingesprochen und mit einem Spracherkennungs-Algorithmus transkribiert. Das System kann auch auf Antworten reagieren und - sofern möglich - eine sinnvolle Folgefrage stellen.

Die transkribierten Antworten der Testszenarien werden verwendet, um eine künstliche Intelligenz anzulernen. Für das Training der KI müssen die Antworten zunächst von einem Menschen mit Gut, Mittel oder Schlecht klassifiziert werden. Wenn die KI trainiert ist, soll die KI die Klassifizierung entsprechend selbst neuen Antworten zuordnen können. Dabei gilt es auch zu definieren, welche Metriken und Ausprägungen einer Antwort auf gute Soft Skills hinweisen und welche nicht, um einen möglichst resilienten KI-Algorithmus zu entwickeln, der auch ohne menschliches Zutun langfristig gute Ergebnisse liefert.

Literaturtipps: 

• Attention is all you need. Advances in neural information processing systems
• Deep learning-based text classification: a comprehensive review
• A survey of the usages of deep learning for natural language processing
• Learning to summarize with human feedback

Computer, Mensch, Sprache – Forschung im Grenzgebiet

Wie sieht interdisziplinäre Forschung im Grenzgebiet  zwischen Computer, Mensch und Sprache aus? Anhand von Beispielen aus meiner Forschung im Bereich Sprachwissenschaft, Computerlinguistik und Mensch-Maschine Interaktion (MMI) gebe ich Einblicke und nehme Bezug auf vorhergehende Vorträge in der Ringvorlesung. Dabei wird deutlich, wie verschieden die einzelnen wissenschaftlichen Gebiete in ihren Zielsetzungen, Methoden, Denkweisen und Diskursen sein können. Für die Forschung stellt dieses Spannungsfeld zwar einige Herausforderungen dar. Gleichzeitig ermöglicht dies spannende Erkenntnisse und  Erklärungen in der Sprachwissenschaft, neue Lösungsansätze in der Sprachtechnologie sowie Zielsetzungen in der MMI.

Literaturtipps: 

• Sprachtechnologie: Building a Corpus from Handwritten Picture Postcards: Transcription, Annotation and Part-of-Speech Tagging
• Sprachwissenschaft: Tracing Changes in Thematic Structure of Holiday Picture Postcards from 1950s to 2010s
• Mensch-Maschine Interaktion: How users solve problems with presence and affordance in interactions with conversational agents: A wizard of Oz study

Sprachtechnologien bei pathologischer Sprache

Der im Jahr 2008 gemeinsam von Prof. Dr. Dr. Birger Kollmeier und Dr. Jens Appell gegründete Fraunhofer-Standort für Hör-, Sprach- und Audiotechnologie (HSA) des Fraunhofer IDMT befasst sich seit seiner Gründung mit Sprachtechnologien von der automatischen Spracherkennung über die Vorhersage der Sprachverständlichkeit unter verschiedensten Bedingungen bis hin zur Entwicklung computergestützter Verfahren zur Stimm- und Sprechanalyse für digitale Anwendungen der Bewertung und des Trainings in den Bereichen Sprachtherapie, Spracherwerb und Sprachenlernen.

Der Vortrag führt in die Arbeiten des HSA im Bereich Sprache ein und legt einen besonderen Schwerpunkt auf die Arbeiten der Gruppe Assistive Sprech- und Sprachanalyse unter der Leitung von Laura Tuschen. Dabei werden grundlegende Konzepte und Ansätze zur Bewertung von Sprache aus einer logopädischen Perspektive vorgestellt und deren Potential für eine computergestützte Bewertung diskutiert. Anhand der in dieser Gruppe laufenden Projekt- und Forschungsarbeiten werden die technologischen Entwicklungen erklärt und in den jeweiligen Anwendungskontext gestellt und diskutiert. Wesentliche technische Elemente sind dabei der Einsatz von Technologien zur automatischen Spracherkennung, klassischer akustischer Maße für die Bewertung von Stimme sowie ganz generell der Einsatz von KI-Methoden bei der Analyse. In der Forschung befindliche Anwendungsszenarien sind u. a. digitale Trainigssysteme zur Förderung der Sprechverständlichkeit nach einem Schlaganfall mit individuellem Feedback sowie automatische Bewertungen der Lesekompetenz bei GrundschülerInnen zur Identifikation individueller Förderungsbedarfe. Akustische Maße werden in automatisierten Analyseansätzen umgesetzt, um die Stimmqualität zu bewerten und derartige Systeme in der Versorgung zur Prävention und Diagnostik zugänglich zu machen. Darüber hinaus wird die gesprochene Sprache als Biomarker untersucht, um über automatisierte Analysen Hinweise auf tiefgreifende Entwicklungsstörungen wie z. B. Autismusspektrumstörungen geben zu können und eine frühe Diagnosestellung bei Betroffenen zu fördern.

Literaturtipps:

• The utility of LENA as an indicator of developmental outcomes for young children with autism
• Intelligent speech technologies for transcription, disease diagnosis, and medical equipment interactive control in smart hospitals: A review

Computerlinguistische Analyse sprachlicher Komplexität von Lese- und Lernertexten

Die Komplexität von Sprache ist aus unterschiedlichen Perspektiven
relevant: zur Analyse der Lesbarkeit von Texten oder zur
Charakterisierung der Sprachkompetenz von Individuen anhand ihrer
Sprachproduktion. In diesem Vortrag stellen wir einen empirisch
breiten, computerlinguistischen Ansatz zur automatischen Analyse von
sprachlicher Komplexität vor, der über eine Webapplikation
(http://ctapweb.com) auch allgemein nutzbar ist. Neben einführenden
Analysen diskutieren wir dann einige Faktoren, denen bisher weniger
Aufmerksamkeit geschenkt wurde: Wie wirken sich die Eigenschaften
einer Aufgabe auf die Komplexität des geschriebenen Textes aus? Was
passiert, wenn sprachliche Komplexität auf mathematische Komplexität
in Textaufgaben trifft?  Beeinflusst die sprachliche Komplexität eines
Lesetextes die Komplexität eines anschließend geschriebenen Textes?

Literaturtipps: 

• Broad linguistic modeling is beneficial for German L2 proficiency assessment
• Schulbuchtexte der Sekundarstufe auf dem linguistischen Prüfstand: Analyse der bildungssprachlichen Komplexität in Abhängigkeit von Schultyp und Jahrgangsstufe
• Weitere Veröffentlichungen zur Thematik: http://www.sfs.uni-tuebingen.de/~dm/complexity.html