Der Preis der Freiheit

Teil 1: Markov-Belohnungsprozesse

Diese Reihe von drei Artikeln soll einen Überblick über Reinforcement Learning geben, im Deutschen etwa "Bestärkendes Lernen" genannt. Der erste Teil beschäftigt sich mit Markov-Belohnungsprozessen, die man sich als "Reinforcement Learning ohne Lernen" vorstellen kann. Im zweiten Teil stellen wir darauf aufbauend Markov-Entscheidungsprozesse vor. Im dritten Teil werden wir uns schließlich mit der Sicherheit künstlicher Intelligenz (im englischen: AI Safety) befassen und lernen, inwiefern Reinforcement Learning in diesem neuen Forschungsfeld relevant ist.

Das war die Kurzzusammenfassung. Wie passt das alles in einen größeren Rahmen? Künstliche Intelligenz ist in aller Munde und bestimmt immer größere Teile unserer Interaktion mit großen Konzernen. Nicht zu Unrecht machen sich daher viele Menschen Sorgen, ob ihre Daten sicher sind und ihre Persönlichkeitsrechte gewahrt werden. Um diese Probleme soll es aber hier nicht gehen, denn man kann sich überall bestens darüber informieren. Meine Motivation ist es, Einblicke zu geben in das relativ neue Forschungsfeld zur Sicherheit künstlicher Intelligenz, im Englisch auch "AI Safety" genannt. Zusammenfassen lassen sich die Bedenken wie folgt: Wenn Maschinen immer autonomer werden, wenn Reinforcement Learning immer weiter verbreitet ist, und wenn Maschinen in immer komplexeren Umgebungen handeln, dann vergrößert sich damit auch das Potential dieser Maschinen, Schäden anzurichten, selbst wenn die Entwickler beste Intentionen haben. Eine moderne Einführung in konkrete Probleme aus diesem Forschungsfeld, mit einem starken Fokus auf Reinforcement Learning, bietet der Artikel Concrete Problems in AI Safety von Amodei et al.

Dieser Artikel ist im besten Fall nur der erste in einer Reihe von drei. Er gibt eine Einführung in das Thema der Markov-Belohnungsprozesse, und der zweite eine in Reinforcement Learning. Darauf aufbauend können wir im dritten Artikel konkrete Sicherheitsbedenken von Lernverfahren studieren, die auf Reinforcement Learning basieren. Ob es zu diesen weiteren Artikeln kommen wird und ob ich sie auf deutsch, oder nur an anderer Stelle auf Englisch veröffentliche, hängt auch von eurem Interesse an diesem Thema ab. Da das mein erster Artikel ist, ist Feedback aller Art sehr erwünscht! \(\endgroup\)