Interdisziplinäres BGC-Kolloquium
veranstaltet vom Berlin Gesture Center in Kooperation mit

Vortrag von Stefan Kopp (Arbeitsgruppe Künstliche Intelligenz, Universität Bielefeld):

Wie Maschinen sprechen und gestikulieren lernen – von der Psycholinguistik zur Computersimulation / Modeling speech and gesture production – from psycholinguistics to computational simulations

Freitag, 1. Februar 2008, 19 Uhr, Projektron, Gneisenaustr. 2, 10961 Berlin-Kreuzberg (U-Bahnhof Mehringdamm)

In diesem Vortrag werden interdisziplinäre Forschungsarbeiten zur Untersuchung der Produktion spontaner Sprache und begleitender Gesten vorgestellt. Das Untersuchungsszenario sind Wegbeschreibungen. Die hier verfolgte Methodik verbindet die empirische Untersuchung und Analyse von natürlichem Äußerungsverhalten und den Entwurf psycholinguistischer Modelle mit der Erstellung von Berechnungsmodellen durch Methoden der Künstlichen Intelligenz und deren Simulation in virtuellen Charakteren. Die empirische Arbeit zielt auf die Beantwortung der Frage, welche “semantischen” Aspekte eines Referenten unter welchen Umständen für die Kommunikation ausgewählt werden und mit welchen konkreten morpho-syntaktischen Mitteln sie sprachlich wie gestisch repräsentiert werden. Die Erstellung von Berechnungsmodellen dient der Überprüfung der durch Korpusannotation und -analyse gefundenen Befunde sowie der (unweigerlichen) Identifikation neuer, vertiefender Fragestellungen für die Empirie und Modellbildung. Abschließend wird die Frage diskutiert, inwieweit Fähigkeiten zur Imitation, die eine Abbildung von perzeptiven auf eigene efferente Parameter erfordert, helfen kann, künstliche Systeme zu befähigen, verkörperte Kommunikation durch Gestik besser verstehen und selber produzieren zu können.

Der Vortrag ist in deutscher Sprache.

In this talk, I will present interdisciplinary work on the spontaneous production of speech and accompanying iconic gestures, with a focus on the driving forces behind depictive gesture. The methodology employed, here in a scenario of direction-giving instructions, interweaves the empirical study of human behavioral (video and motion capture) data and psycholinguistics modeling with computational modeling and simulation in artificial humans. The empirical work that will be presented aims at identifying which features of a referent people select for conveyance at all, and under which circumstances, and what strategies they follow in representing them verbally and gesturally. The computational work serves as a test-bed for corpus annotation and analyses as well as for the conception of models that exceed the current state of our empirical evidence, and it has led to conversational agents like a conversational museum guide, a multimodal direction-giver, and an assistant in collaborative Virtual Reality tasks. Finally, I will discuss how the ability for imitation, which rests on the ability to map the perceptions of a conspecific’s action onto corresponding motor representations of one’s own, can play a key role in making such agents able to better understand and employ gestural behavior in embodied utterances.

The presentation will be in German.