Articles

Tag041 – Warum sollte ich Ihnen vertrauen?

Zwei Minuten Papier ist ein Kanal, den ich anderen empfehlen werde. Ich schätze es sehr, dass der Betreiber des Kanals sich die Zeit genommen hat, akademische Abhandlungen in wenigen Minuten zusammenzufassen, so dass ich schnell darüber browsen konnte. Diese Woche präsentiert er ein interessantes Thema, das ich gerne mit Ihnen teilen möchte.

„Warum sollte ich Ihnen vertrauen?“ Wie man die Vorhersagen eines Klassifikators erklären kann. Es handelt sich um ein populäres Papier, wenn man sich die Anzahl der Zitate ansieht, die es erhalten hat. Über 300. WOW.

Im Bereich des maschinellen Lernens liegt der Schwerpunkt häufig auf der Genauigkeit der Vorhersagen. Ein gängiger Ansatz zur Entwicklung eines Modells für maschinelles Lernen besteht darin, den Datensatz in Training, Test und Validierung aufzuteilen. Eine hohe Genauigkeit bedeutet, dass das Modell funktioniert und einsatzbereit ist. Die Genauigkeit sollte jedoch nicht der einzige Faktor sein, auf den Sie achten. Das Modell könnte auch dann falsch liegen, wenn seine Vorhersage korrekt ist. Bei einem Bild, auf dem ein Wolf vor einem Schneehintergrund zu sehen ist, sagt das Modell einfach deshalb einen Wolf voraus, weil es den weißen Schnee für das Fell eines Wolfs hält. Ohne zu wissen, wie das Modell zu seiner Schlussfolgerung kommt, werden wir nie erfahren, ob das Modell wirklich richtig ist. Vielleicht hat es einfach nur Glück. Wir würden nie wirklich verstehen, warum das Modell denkt, dass es ein Wolf ist, wenn wir nicht mit Sicherheit wissen, welcher Teil des Bildes am meisten dazu beiträgt, dass es sich um einen Wolf handelt.

Das Papier stellt LIME vor, Local Interpretable Model-agnostic Explanations. Dabei handelt es sich um eine neuartige Technik, mit der die Vorhersage eines beliebigen Klassifizierers für maschinelles Lernen auf interpretierbare und getreue Weise erklärt werden kann. Mit der Erklärung wird die Logik hinter der Entscheidungsfindung eines Modells deutlich. Dann können die Menschen durch die Blackbox des maschinellen Lernmodells hindurchsehen und den Vorhersagen, die es macht, wirklich vertrauen. Es hilft auch, einen Einblick in die Leistung des Modells zu gewinnen oder die Schwachstellen aufzuzeigen, falls sie vorhanden sind.

Der Autor beschreibt seinen Standpunkt zu den erwünschten Merkmalen für Erklärer, die LIME in allen Punkten erfüllt:

  • Interpretierbar, die Erklärung sollte leicht genug sein, um je nach Zielgruppe verstanden zu werden
  • Lokale Treue, zumindest lokal treu in der Nähe der vorhergesagten Instanz
  • Model Agnostic, sollte jedes Modell erklären
  • Globale Perspektive, wählt einige Erklärungen aus, die für das Modell repräsentativ sind

In dem Papier wird die Flexibilität des Rahmens durch die Erklärung von Modellen der Text- und Bildklassifizierung demonstriert.

Erläuterung einer Bildklassifizierungsvorhersage durch das neuronale Netzwerk Inception von Google. Die 3 am besten vorhergesagten Klassen sind „E-Gitarre“ (p = 0,32), „Akustikgitarre“ (p = 0,24) und „Labrador“ (p = 0,21)