Facebook-Chatbots lernen selbstständig zu tricksen

Kleine Täuschungen können eine wirkungsvolle Verhandlungsstrategie sein. Das haben auch von Facebook-Forschern entwickelte Bots erkannt – ohne dass ihnen das explizit beigebracht werden musste.

Forscher bei Facebook haben künstlich intelligente Chatbots programmiert, die durch so genanntes Verstärkungslernen selbstständig die Fähigkeit entwickelten, menschliche Verhandlungspartner über ihre wahren Absichten zu täuschen. Festgestellt wurde das bei Experimenten, bei denen es darum ging, verschiedene Gegenstände mit vom System willkürlich zugewiesenen Punktwerten unter zwei Parteien aufzuteilen. Wenn auf der einen Seite ein Bot beteiligt war, war das Ergebnis insgesamt häufiger optimal als bei Verhandlungen unter Menschen. Das berichtet Technology Review online in „Trickreiche Chatbots“.

Damit die Bots so raffiniert werden konnten, mussten sie mehrere Trainingsphasen durchlaufen. Zunächst wurden sie mit 5808 schriftlichen Verhandlungsdialogen von Menschen gefüttert. Dadurch konnten sie überwacht die nötigen Formulierungen und ihre Bedeutung erlernen, was bereits reichte, um relativ gute Ergebnisse zu erzielen. Allerdings gaben sich die Bots in diesen Tests zu schnell zufrieden, weil sie nur die Einigungswahrscheinlichkeit, nicht aber die Punktzahl maximierten.

Das änderte sich durch zwei weitere Trainingsmodelle. Eines davon nannten die Forscher Dialog-“Rollout“: Die Chatbots sollten – ähnlich wie zum Beispiel beim Schachspiel – für mehrere Schritte im Voraus durchrechnen, wie ihr Verhandlungspartner auf unterschiedliche Äußerungen reagieren dürfte. Zu tricksen lernten die Bots aber erst durch das Verstärkungslernen. In vielen Runden spielte dafür zunächst Bot gegen Bot, und diejenigen Strategien, die am meisten Erfolg brachten, wurden gespeichert.