Two minutes paper is een kanaal dat ik aan anderen zal aanbevelen. Ik waardeer het dat de eigenaar van het kanaal tijd besteedt aan het samenvatten van een academische paper in een paar minuten, zodat ik er snel over kon browsen. Deze week is er een interessant onderwerp dat ik met u wil delen.

“Waarom zou ik u vertrouwen?” Het verklaren van de voorspellingen van een classificeerder. Het is een populair artikel, alleen al te zien aan het aantal keren dat het geciteerd is. Meer dan 300. WOW.

Op het gebied van machine learning richten mensen zich vaak op de aangehouden nauwkeurigheid. Een gebruikelijke aanpak om een machine learning model te ontwikkelen is om de dataset op te splitsen in trainen, testen en valideren. Een hoge nauwkeurigheid betekent dat het model werkt en dat het model klaar is om in te zetten. De nauwkeurigheid mag echter niet de enige factor zijn waarnaar u kijkt. Het model kan het mis hebben, ook al is de voorspelling juist. Bij een afbeelding van een wolf met een sneeuwachtergrond voorspelt het model dat de afbeelding een wolf bevat, gewoon omdat het denkt dat de witte sneeuw de vacht van een wolf is. Zonder te weten hoe het model tot zijn conclusie komt, zullen we nooit weten of het model echt juist is. Misschien heeft het gewoon geluk. We zouden nooit echt begrijpen waarom het model denkt dat het een wolf is, tenzij we zeker weten welk deel van het beeld het meest bijdraagt wanneer het besluit dat het een wolf is.

De paper introduceert LIME, Local Interpretable Model-agnostic Explanations. Het is een nieuwe techniek om de predicatie van een machine learning classifier op een interpreteerbare en getrouwe manier uit te leggen. Met de uitleg wordt de redenering achter de besluitvorming van een model verduidelijkt. Dan kunnen mensen door de zwarte doos van het machine-leermodel heen kijken en echt vertrouwen hebben in de voorspellingen die het model doet. Het helpt ook om inzicht te krijgen in hoe het model presteert of de zwakke punten aan te wijzen als het zich voordoet.

De auteur beschrijft zijn standpunt over de Gewenste Kenmerken voor Uitleggers, dat LIME voldoet aan alle van hen:

• Interpretable, uitleg moet gemakkelijk genoeg te begrijpen zijn afhankelijk van de doelgroep
• Local Fidelity, ten minste lokaal getrouw in de nabijheid van de instantie die voorspeld wordt
• Model Agnostic, moet elk model verklaren
• Globaal Perspectief, selecteer enkele verklaringen om representatief te zijn voor het model

In de paper wordt de flexibiliteit van het raamwerk gedemonstreerd door modellen van tekst- en beeldclassificatie te verklaren.