PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

Inverse Modellierung

Meistens kann ein Modell M(X):X → Y empirisch bestimmt werden

Häufig ist das inverse Modell von Bedeutung: M^-1Y: Y → X!

ML bietet Möglichkeit "Prädiktives Modellieren"

Aber wie kann man M^-1 aus M ableiten?

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

Inverse Funktionen: Analytische und numerische Ableitung

• Gegeben sei eine Funktion f(x): ℝ → ℝ: x → y, z.B.

  • f(x)₁: y = x+a
  • f(x)₂: y = x²+a
  • f(x)₃: y = sin(x)

• Die Bestimmung der inversen Funktion kann häutig durch einfache algebraische Umformung generell und exakt berechntet werden:

  • f^-1(y)₁: x = y-a
  • f^-1(y)₂: x = { √(y-a),-√(y-a) }
  • f^-1(y)₃: x = arcsin(y)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

• Schon bei der zweiten Funktion gibt es mehr als eine Lösung, und die inverse Sinusfunktion kann nicht exakt analytisch berechnet werden sondern benötigt eine Approximation durch eine geometrische Reihe:

$$arcsin(z)=\sum_{n=0}^{\infty} \frac{(2n-1)!!z^{2n+1}}{(2n)!!(2n+1)}$$

Inverse Probleme sind nicht trivial (zu lösen)!

Wie sieht es bei multivariaten Funktionen aus?

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

Multivariate Funktionen

• Eine Funktion f: ℝⁿ → ℝ stellte ein Informationskompression dar;
  • Aber i.A. als irreversible Reduktion (Informationsverlust)!

• Die Inversion einer Funktion f: ℝⁿ → ℝ ergibt eine große Menge an Lösungen da:
  • f^-1(y) : ℝ → ℝⁿ (Informationsexpansion bzw. Dekompression)
  • Die Lösungsmenge kann unendlich groß sein!

• Beispiel: f(x₁,x₂): y=x₁+x₂
  • (Unendlich viele) Lösungen für y=0: x={ (0,0),(-1,1),(-2,2),(-3,3),... }

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

Einschränkung des Eingabe- und Lösungsraums

1. Intervallarithmetik → D.h. eine Variable x wird nur in einem Intervall [a,b] betrachtet (und f)

2. Diskretisierung des Intervalls; [a,b] → { a, a+δ , a+2δ ,.., b}

Randbedingungslösen

• Wenn für alle Eingabevariablen und ebenso für die Zielvariable diskrete Werte in einem endlichen Bereich liegen könnten man das Inversionsproblem durch einen Randbedingungslöser (Constraint Solving Problem) lösen
  • Aber auch dieser Ansatz liefert entweder viele oder nur eine Auswahl an Lösungen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

• Beispiel eines Erfüllbarkeitsproblems über relationale Ausdrücke:

Problem
f(x1,x2) = y = x1+x2
x1 = { 1,2,3 }
x2 = { 1,2,3 }
y  = { 2,3,..,6 }
Randbedingungen
  x1 ≥ 1 ∧ x1 ≤ 3
  x2 ≥ 1 ∧ x2 ≤ 3
  x1 = 1 ∨ x1 = 2 ∨ x1 = 3
  x2 = 1 ∨ x2 = 2 ∨ x2 = 3
  y = x1+x2

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

Das Single Layer Perceptron

Ein SLP (künstliches Neuron) besteht aus zwei verbundenen Funktionsblöcken (Summierer und Aktiverungsfunktion)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

Inverses Problem ML: Naiver Lösungsansatz

Datentabelle

• Problem: Die Reversion der Datentabelle liefert einzelne Dateninstanzen
• Ziel: Das Modell M soll repräsentativ und generalisierbar sein
• Daher: Auch M^-1 sollte möglich nur repräsentative Eingabevektoren liefern
  • Mittelwertbildung der Dateninstanzen und deren Variablen wenig hilfreich!
  • Zwei Instanzen: x=Sonnig, x=Regen ⇒ x=(Sonnig+Regen)/2=wolkig???
  • Majoritäten könnten repräsentative Variablenwerte ergeben!?

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

Inverses Problem ML: Entscheidungsbaum

• Ein empririsch gelernter Entscheidungsbaum kann ein generalisiertes Modell sein M(x): x → y
• Die Invertierung geschieht durch Rückwärtsiteration startend bei allen Endknoten (Blättern) mit y_i=y
• Es wird i.A. mehr als eine Lösung geben (Repräsentanz?)
• Die Frage ist die Ableitung des resultierenden Variable x aus den Knoten
  • Bei kategorischen Variablen triviales und eindeutiges Problem
  • Bei numerischen Variablen und einem relationen Baum mit N(x)={ x < ε, x ≥ ε } ist gerade der Teilungswert ε nicht repräsentativ (Rand!!)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul I: Inverse Modellierung

Invertierbare ANN

https://hci.iwr.uni-heidelberg.de/vislearn/inverse-problems-invertible-neural-networks/

Ausgangspunkt: Ein- und Ausgabedaten besitzen die gleiche Dimension!