Neuronale Netze: Regeln

6. Regeln

Aus den Parametern des neuronalen Netzwerks läßt sich sein Verhalten erklären und Regeln für das Verhalten ableiten.

Eine grundsätzliche Kritik gegen die Anwendung neuronaler Netze ist, daß ein neuronales Netz häufig als black box angesehen wird, deren Funktionsweise unverstanden bleibt. Das ist aber nicht grundsätzlich so. Es gibt unterschiedliche Methoden, das Verhalten des neuronalen Netzes zu verstehen und eventuell Regeln abzuleiten. Das Hauptproblem besteht darin, daß das neuronale Netz die Ausgabedaten als eine explizit nicht bekannte, nicht lineare Funktion der Eingabedaten liefert. Daher ist kein einfacher, vor allem aber kein linearer Zusammenhang zwischen den Eingabedaten und den Ausgabedaten ableitbar.

Eine andere Frage ist, wozu überhaupt Regeln abgeleitet werden sollen. Wenn ein neuronales Netz funktioniert, ist es dann nicht gleichgültig, warum es auf diese Weise funktioniert? Es gibt eine Reihe von Algorithmen, mit Hilfe derer aus einem neuronalen Netz Regeln extrahiert werden können. Je nachdem, welche Ansprüche man an die Güte der Regeln stellt, kann die Aufstellung dieser Regeln kostenintensiv sein. Gute Gründe, Regeln zu suchen, sind

Besseres Verständnis des Netzes durch die Benutzer.
Verbesserung der Verallgemeinerungsfähigkeit des Netzes durch Kenntnis von Regeln.
Vergleich der Regeln mit bekannten Gesetzmäßigkeiten als zusätzlicher Test des Netzes.
Weitere Verwendung der Regeln in anderen Bereichen des Projekts.

Information ist in einem neuronalen Netz in der Netzwerkarchitektur und in den Parametern enthalten, die das Netz beschreiben. Das Aufstellen von Regeln bedeutet in jedem Fall eine Interpretation der so gespeicherten Information.

6.2 Methoden zum Finden von Regeln

Es gibt unterschiedliche Methoden, die es erlauben, aus den Parametern des neuronalen Netzes Regeln zu extrahieren. Man kann sie grob in analytische Methoden und synthetische Methoden einteilen.

Analytische Methoden versuchen, das neuronale Netz durch die Analyse der Gewichte der einzelnen Kopplungen in kleinere Untereinheiten zu zerlegen. Danach wird versucht, das Verhalten in diesen Untereinheiten zu erfassen, indem man versucht, festzustellen, welche Mengen von Eingabedaten ein bestimmtes Verhalten des Netzes erzeugen. Das kann entweder durch numerische Tests oder durch die direkte Analyse der Kopplungen geschehen. Anschließend kann man zum Beispiel versuchen, die Struktur des Netzes mit Hilfe der so gewonnenen Kenntnisse zu optimieren. Aus dem optimierten Netz kann man dann wieder Regeln ableiten. Die Regeln dienen also zur Verbesserung des Netzes, und lassen sich so verfeinern.

Synthetische Methoden betrachten das Netz als eine black box, die die Ausgabedaten als Funktion der Eingabedaten liefert. Diese Funktion kann zum Beispiel durch ihre lokalen Ableitungen charakterisiert werden. Die Matrix dieser Ableitungen enthält Informationen über das lokale Verhalten des Netzes. Die Ableitungen lassen sich analytisch aus den Parametern des Netzes herleiten oder, indem man numerisch untersucht, wie die Ausgabedaten auf kleine Variationen der Eingabedaten reagieren. Ableitungen lassen sich natürlich nur bei kontinuierlichen Ausgabedaten benutzen. Bei neuronalen Netzen, die eine Kategorisierung durchführen, läßt sich aber auch das Verhalten des Netzes auf kleine Änderungen der Eingabedaten untersuchen. Aus dem so untersuchten Verhalten des Netzes lassen sich eventuell auch Rückschlüsse auf mögliche Optimierungen des Netzes ziehen. Stellt sich beispielsweise heraus, daß die Ableitung der Ausgabedaten nach einem Eingabewert sehr klein sind, dann ist dieser Eingabewert in diesem Problem weniger wichtig und kann eventuell weggelassen werden. Das ist natürlich nur dann richtig, wenn die Ableitungen global klein sind.

6.3 Beurteilung von Regeln

Es gibt unterschiedliche, und sich zum Teil widersprechende Kriterien, nach denen Regeln beurteilt werden können, die aus einem neuronalen Netz gewonnen wurden. Folgende vier Kriterien sind wichtig:

Qualität.

Die abgeleiteten Regeln sollen natürlich 'stimmen'. Das nachzuprüfen, ist aber häufig nicht einfach. Die Regeln müssen widerspruchsfrei sein. Ferner ist die Genauigkeit zu überprüfen, mit der eine Regel gilt. Und schließlich ist wichtig zu wissen, welche Aussagen die Regel über Datensätze macht, die nicht in dem Bereich liegen, in dem das Netz trainiert wurde.

Komplexität.

Die Regeln müssen später angewandt werden können. Es macht keinen Sinn, ein komplexes Regelwerk etwa im Rahmen eines mengentheoretischen Kalküls zu entwerfen, dessen algorithmische Umsetzung und Anwendung mehr Rechenkapazität erfordert als das neuronale Netz selbst.

Verständlichkeit.

Eng mit der Komplexität ist die Verständlichkeit der Regeln verknüpft. Wenn die Regeln von einem späteren Nutzer des Netzes verwendet werden sollen, etwa um die Konsistenz von Ergebnissen zu überprüfen, muß er die Regeln auch verstehen können. Die Verständlichkeit der Regeln hängt davon ab, wie sie formuliert werden, und natürlich davon, wer sie verstehen soll. Wenn es darum geht, die Regeln maschinell zu verarbeiten, wird man eventuell eine formale Sprache wählen, die sie für einen Menschen weniger verständlich macht.

Anwendbarkeit.

Regeln können global oder nur auf Teile des möglichen Parameterbereichs der Eingabedaten anwendbar sein. Sie können das Verhalten für alle Ein- oder Ausgabedaten erklären oder nur für einen Teil dieser Daten.

Es ist klar, daß sich diese Kriterien widersprechen können. Eine höhere Qualität der Regeln kann eine höhere oder unerwüschte Komplexität zur Folge haben, die die Regeln dann unverständlicher macht. Daher ist es wichtig, vorher klarzustellen, welches Ziel man mit den Regeln hat, und danach, welche Kriterien die Regeln erfüllen müssen, um das Ziel zu erreichen.

6. Regeln

6.1 Einführung

6.2 Methoden zum Finden von Regeln

6.3 Beurteilung von Regeln