Stefan Bosse - Maschinelles Lernen - -

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze -

Zustandsbasierte Netze

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - Wiederholung: FF-ANN

Wiederholung: FF-ANN

• Ein vorwärtsgekoppeltes ANN (Feed forward) besteht aus Neuronen die jeweils durch Funktionen f(i):i → o repräsentiert werden können.

• Die Funktionen f werden als azyklischer gerichteter Graph dargestellt (also das NN), d.h., kein Neuron hat ein Eingangssignal von nachfolgenden Neuronen (die das Ausgangssignal dieses Neurons enthalten)

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - Wiederholung: FF-ANN

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - Recurrent ANN: Die Rückkopplung

Recurrent ANN: Die Rückkopplung

• Ausgänge von Ausgangs- oder inneren Neuron werden auf Eingänge von vorherigen Neuronen gekoppelt

• Dadurch werden die Netzwerke zustandsbasiert, d.h., die aktuellen Ausgänge hängen neben den aktuellen Werten der Eingänge von der Historie der Werte von Ein- und Ausgängen ab!

• Recurrent ANN (RNN) sind durch hohe "Instabilität" schwierig mit gradientenbasierten Verfahren zu trainieren!

• Daher im Laufe der Zeit verbesserte Architekturen wie LSTM oder GRU Netzwerke

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - LSTM Netzwerke

LSTM Netzwerke

• Long-short-term Memory (LSTM) Netzwerke bilden eine bekannte Architektur die:
  • Für die Daten- und Zeitserienprädiktion verwendbar sind
  • Mit gradientenbasierten Trainingsverfahren einigermaßen stabil (konvergent) trainiert werden können

Daten- und Zeitserien

• Es sei {x_n}^t eine Serie von Eingabedaten (z.B. zeitaufgelöstes Sensorsignal einer Ultraschallmessung), d.h. {x_n}={x₁,x₂,..,x_t}
• Die einzelnen Werte (skalar oder vektoriell) sind aufeinander folgend → Ordnungsrelation

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - LSTM Netzwerke

$$f_\delta(\{s_i\}_i^n,n): {s_{n-m},s_{n-m+1},..s_n} \rightarrow s_{n+\delta}$$

Datenserie und Prädiktion s(n+δ)

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - LSTM Netzwerke

• Neben der Prädiktion von "zukünftigen" Entwicklungen einer Variable x_i kann auch eine zukünftige Prognostik einer anderen Zielvariable y_i erfolgen:

$$f_\delta(\{x_i\}_i^n,n): \{x_{n-m},x_{n-m+1},..x_n\} \rightarrow y_{n+\delta}$$

• Etwaige Zielvariablen könnten aus dem Signal abgeleitete Eigenschaften (Merkmale) sein:
  • Schadensinformation
  • Änderung einer zweiten Sensorvariable
  • Zustandsvariable
  • Veränderung von Betriebsbedingungen
  • Prozessparameter

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - Netzwerkarchitekturen

Netzwerkarchitekturen

(Oben) Die Datenserie kann sequentiell (in ein RNN/LSTM) oder auch (Unten) parallel in ein FNN eingegeben werden

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - LSTM Zelle

LSTM Zelle

• Eine LST Zelle besteht aus:

  • Einer "Speicherzelle"
  • Mehreren Gattern die aktiv Verbindungen (Kanten) zwischen Neuronen steuern, d.h., effektiv das Kantengewicht in Abhängigkeit von Ausgangswerten von Neuronen verändern /Ventile/

• Ein wichtige Rolle bei der Speicherung vergangener Daten (Gedächtnis) ist das Vergessen gesteuert durch das "Forget Gate"

Beispiel für eine "gedämpfte" Gedächtnisfunktion: Ein Tiefpassfilter 1. Ordnung

$$f(x,n)=f(n-1)\sdot\alpha+\beta \sdot x$$

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - LSTM Zelle

• Der Parameter β=(0,1) bestimmt den Einfluss neuer Werte x und der Parameter α=(0,1) bestimmt den Einfluss alter Werte (Vergessen); i.A. α=1-β

Aufbau einer LSTM Zelle mit zentraler Speicherzelle (Neuron) und den Gattern

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - LSTM Demo

LSTM Demo

• Lernen einer Prädiktorfunktion für Datenserien nach der Sinusfunktion mit LSTM Netzwerk:

$$f_\delta(x_n): x_n \rightarrow x_{n+\delta}$$

• Für jedes δ={1,2,..,m} muss eine eigene Prädiktorfunktion f_δ erzeugt und trainiert werden

• Konfiguration des Netzwerks: [1,l,1], wobei l={1,2,..} die Anzahl der LSTM Zellen in der inneren Schicht ist.

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - LSTM Demo

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - Zusammenfassung

Zusammenfassung

• Diskrete Daten- und Zeitserien x(i) kommen in der Mess- und Prüftechnik als Sensorsignal häufig vor, aber auch bei

  • Wirtschaftsdaten (Aktienkurse), Wetterdaten, Klimadaten, usw.

• Die Vorhersage von unbekannten zukünftigen Datenwerten aus historischen bekannten Datenwerten erfordert zustandsbasierte Prädiktorfunktionen sofern es

  • keinen ausgewiesenen Start- und Endpunkt gibt (also sequentielle Aktivierung von M).
  • Gibt es ausgewiesene Start- und Endpunkte der Serie kann auch eine zustandslose Prädiktorfunktion verwendet werden (parallele Aktivierung einer Auswahl von Datenpunkten)

Stefan Bosse - Maschinelles Lernen - Zustandsbasierte Netze - Zusammenfassung

• Die Long Short Term Memory Zelle ist eine bekannte Architektur für eine RNN PF mit Zustand (Speicher)

• Problem beim Trainieren von RNN ist Instabilität und der Zustandsspeicher (wirkt sich auf Fehlerberechnung ungünstig aus)

Stefan Bosse - Maschinelles Lernen - Faltungsnetzwerke (CNN) - Zusammenfassung

Faltungsnetzwerke (CNN)

Faltungsnetzwerke vereinigen KNN mit mathematischen Faltungsoperationen die typischerweise auf Bilddaten angewendet werden

Bisher waren die Eingangsvariablen von Prädiktornmodellen unmittelbar mit Merkmalen verknüpft (Ausnahme: Datenserien!)

Bei der Bilderkennung möchte man häufig Objekte (also geometrische Strukturen) in Bildern finden. Diese können aber an beliebigen Stellen im Bild vorhanden sein

Die Merkmale sind nicht mehr einzelnen Variablen zuzuordnen.

Daher werden kleine Faltungsoperationen auf das gesamte Bild angewendet, die erst die Merkmale extrahieren.

Stefan Bosse - Maschinelles Lernen - Faltungsnetzwerke (CNN) - Beispiele

Beispiele

• Handschriftenerkennung
• Schadensdiagnostik (Bildaufnahmen, Röntgentomographie, usw.)
• Zeitaufgelöste Frequenzspektren (Datenexpansion von Zeitsignalen!)
• Bestimmung von Region of Interest Bereichen

20 Beispiel aus dem MNIST Datensatz von handgeschriebene Ziffern und Buchstaben. Beispiele bei denen die Ziffernbilder nur schwer zu klassifizieren sind.

Stefan Bosse - Maschinelles Lernen - Faltungsnetzwerke (CNN) - Daten

Daten

• Man unterscheidet:
  • Vektoren (1D)
  • Matrizen (2D)
  • Tensoren (3d), wobei Tensoren mathematisch mehr sind als Vektoren von Matrizen!

20 Vektor, Matrix und Tensor mit beliebigen reellen Zahlen. Die Eingaben für tiefe neuronale Netze werden meist in dieser Form kodiert. Man kann auch die Dimension zu der Bezeichnung hinzufügen. Im Bild haben wir einen 5-Vektor, eine 3 × 5-Matrix und einen 3 × 3 × 5-Tensor.

Stefan Bosse - Maschinelles Lernen - Faltungsnetzwerke (CNN) - Klassifikationsproblem

Klassifikationsproblem

Stefan Bosse - Maschinelles Lernen - Faltungsnetzwerke (CNN) - Faltungsoperation

Faltungsoperation

20 Erster Berechnungsschritt (links) und zweiter Berechnungsschritt (rechts) in der Faltungsschicht für jeweils einen verschobenen kleinen Bereich der Eingabematrix. Dabei wird der Kernel sukzessive über die gesamte Eingabematrix „geschoben“ und die Ergebnismatrix gefüllt

Stefan Bosse - Maschinelles Lernen - Faltungsnetzwerke (CNN) - Convolutional Neural Networks (CNN)

Convolutional Neural Networks (CNN)

• Ein CNN ist aus verschiedenen Schichten (Ebenen) zusammengesetzt:
  • Faltungsebenen
  • Zusammeführungs (pooling) Ebenen
  • Ausgabe durch Klassifikationsebenen (softmax)

20 Eine Faltungsschicht enthält k Kernel und k Ergebnismatrizen, welche jeweils zu Tensoren zusammengefasst werden

Stefan Bosse - Maschinelles Lernen - Faltungsnetzwerke (CNN) - Convolutional Neural Networks (CNN)

https://towardsdatascience.com Allgemeiner Aufbau eines CNN mit wechselnden Schichten aus Faltungen, Zusammenführung, und schließlich binärer Klassifikation

Stefan Bosse - Maschinelles Lernen - Faltungsnetzwerke (CNN) - Convolutional Neural Networks (CNN)

https://towardsdatascience.com Je nach Anzahl der Strukturmerkmale kann es eine große Anzahl folgender Faltungs- und Zusammenführungsschichten geben

Stefan Bosse - Maschinelles Lernen - Faltungsnetzwerke (CNN) - Zusammenfassung

Zusammenfassung

CNN sind geeignet um ortsunabhängig verschiedene Strukturmerkmale in den Daten zu klassifizieren

Ein CNN beruht auf Matrixalgebra mit Faltungsoperationen

Zum Nachlesen: https://towardsdatascience.com/covolutional-neural-network-cb0883dd6529?gi=521747216671; G. Paaß, Künstliche Intelligenz, Was steckt hinter der Technologie der Zukunft?, Springer

Bekanntes Softwareframework für den Browser: convnet.js https://cs.stanford.edu/people/karpathy/convnetjs

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Zusammenfassung

Inverse Modellierung

Meistens kann ein Modell M(X):X → Y empirisch bestimmt werden

Häufig ist das inverse Modell von Bedeutung: M^-1Y: Y → X!

ML bietet Möglichkeit "Prädiktives Modellieren"

Aber wie kann man M^-1 aus M ableiten?

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Inverse Funktionen: Analytische und numerische Ableitung

Inverse Funktionen: Analytische und numerische Ableitung

• Gegeben sei eine Funktion f(x): ℝ → ℝ: x → y, z.B.

  • f(x)₁: y = x+a
  • f(x)₂: y = x²+a
  • f(x)₃: y = sin(x)

• Die Bestimmung der inversen Funktion kann häutig durch einfache algebraische Umformung generell und exakt berechnet werden:

  • f^-1(y)₁: x = y-a
  • f^-1(y)₂: x = { √(y-a),-√(y-a) }
  • f^-1(y)₃: x = arcsin(y)

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Inverse Funktionen: Analytische und numerische Ableitung

• Schon bei der zweiten Funktion gibt es mehr als eine Lösung, und die inverse Sinusfunktion kann nicht exakt analytisch berechnet werden sondern benötigt eine Approximation durch eine geometrische Reihe:

$$arcsin(z)=\sum_{n=0}^{\infty} \frac{(2n-1)!!z^{2n+1}}{(2n)!!(2n+1)}$$

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Multivariate Funktionen

Multivariate Funktionen

• Eine Funktion f: ℝⁿ → ℝ stellte ein Informationskompression dar;
  • Aber i.A. als irreversible Reduktion (Informationsverlust)!

• Die Inversion einer Funktion f: ℝⁿ → ℝ ergibt eine große Menge an Lösungen da:
  • f^-1(y) : ℝ → ℝⁿ (Informationsexpansion bzw. Dekompression)
  • Die Lösungsmenge kann unendlich groß sein!

• Beispiel: f(x₁,x₂): y=x₁+x₂
  • (Unendlich viele) Lösungen für y=0: x={ (0,0),(-1,1),(-2,2),(-3,3),... }

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Multivariate Funktionen

Einschränkung des Eingabe- und Lösungsraums

1. Intervallarithmetik → D.h. eine Variable x wird nur in einem Intervall [a,b] betrachtet (und f)

2. Diskretisierung des Intervalls; [a,b] → { a, a+δ , a+2δ ,.., b}

Randbedingungslösen

• Wenn für alle Eingabevariablen und ebenso für die Zielvariable diskrete Werte in einem endlichen Bereich liegen könnten man das Inversionsproblem durch einen Randbedingungslöser (Constraint Solving Problem) lösen
  • Aber auch dieser Ansatz liefert entweder viele oder nur eine Auswahl an Lösungen

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Multivariate Funktionen

• Beispiel eines Erfüllbarkeitsproblems über relationale Ausdrücke:

Problem
f(x1,x2) = y = x1+x2
x1 = { 1,2,3 }
x2 = { 1,2,3 }
y  = { 2,3,..,6 }
Randbedingungen
  x1 ≥ 1 ∧ x1 ≤ 3
  x2 ≥ 1 ∧ x2 ≤ 3
  x1 = 1 ∨ x1 = 2 ∨ x1 = 3
  x2 = 1 ∨ x2 = 2 ∨ x2 = 3
  y = x1+x2

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Multivariate Funktionen

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Das Single Layer Perceptron

Das Single Layer Perceptron

Ein SLP (künstliches Neuron) besteht aus zwei verbundenen Funktionsblöcken (Summierer und Aktiverungsfunktion)

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Inverses Problem ML: Naiver Lösungsansatz

Inverses Problem ML: Naiver Lösungsansatz

Datentabelle

• Problem: Die Inversion der Datentabelle liefert einzelne Dateninstanzen
• Ziel: Das Modell M soll repräsentativ und generalisierbar sein
• Daher: Auch M^-1 sollte möglich nur repräsentative Eingabevektoren liefern
  • Mittelwertbildung der Dateninstanzen und deren Variablen wenig hilfreich!
  • Zwei Instanzen: x=Sonnig, x=Regen ⇒ x=(Sonnig+Regen)/2=wolkig???
  • Majoritäten könnten repräsentative Variablenwerte ergeben!?

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Inverses Problem ML: Entscheidungsbaum

Inverses Problem ML: Entscheidungsbaum

• Ein empirisch gelernter Entscheidungsbaum kann ein generalisiertes Modell sein M(x): x → y
• Die Invertierung geschieht durch Rückwärtsiteration startend bei allen Endknoten (Blättern) mit y_i=y
• Es wird i.A. mehr als eine Lösung geben (Repräsentanz?)
• Die Frage ist die Ableitung des resultierenden Variable x aus den Knoten
  • Bei kategorischen Variablen triviales und eindeutiges Problem
  • Bei numerischen Variablen und einem relationen Baum mit N(x)={ x < ε, x ≥ ε } ist gerade der Teilungswert ε nicht repräsentativ (Rand!!)

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Inverses Problem ML: Entscheidungsbaum

Invertierung eines relationalen und annotierten Entscheidungbaumes (s: Mittelwert der Partition der Variable)

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Invertierbare ANN

Invertierbare ANN

https://hci.iwr.uni-heidelberg.de/vislearn/inverse-problems-invertible-neural-networks/

Ausgangspunkt: Ein- und Ausgabedaten besitzen die gleiche Dimension!

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Invertierbare ANN

Invertierbare Netzwerkstruktur

• Es wird ein übergeordnetes reversibles Berechnungsnetzwerk eingeführt (Affine Kopplungsschicht)

Die Eingabedaten werden augespalten in [u1,u2] und durch die gelernten Funktionen s_i und t_i transformiert und in Wechselanordnung gekoppelt. Die Ausgabe ist die Verkettung der resultierenden Teile [v1,v2]. ⊙ - Elementweise Multiplikation

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Invertierbare ANN

Invertierung

Invertierung des Netzwerks. Mit einer Umschaltung können [u1,u2] aus [v1,v2] wiederhergestellt werden, um die Umkehrung der gesamten affinen Kopplungsschicht zu berechnen. ∅ - Elementweise Division

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Invertierbare ANN

Entscheidend ist, dass die Transformationen s_i und t_i selbst nicht invertierbar sein müssen und durch beliebige neuronale Netze dargestellt werden können, die durch standardmäßige Backpropagation entlang des Berechnungsgraphen trainiert werden.

Mehrdeutige Abbildungen

D.h. die Eingabedimension ist wie üblich viel größer als die Ausgabedimension!

• Die Inversion erzeugt Mehrdeutigkeit bei der Abbildung y → x.

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Invertierbare ANN

Transformation in Bijektive Abbildungen

Eine zusätzliche latente Variable z wird eingeführt, die die Information erfasst, die sonst im Forward-Prozess verloren gehen würde. Folglich, x ↔ [y,z] wird eine bijektive Zuordnung.

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Invertierbare ANN

Durch zusätzliche latente Variable z wird die inverse Abbildung "vervollständigt"

z muss unabhängig von y sein und muss einer einfachen Stichprobenverteilung N(0,1) folgen.

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Invertierbare ANN

• Beide Bedingungen können mit einem maximalen mittleren Diskrepanzverlust (MMD) erreicht werden, die mit zwei Verteilungen übereinstimmt durch Vergleich von Stichproben.

Die Verteilung p(x|y) kann angenähert werden, indem einfach wiederholt z abgetastet wird und die rückgerichtete Berechnung des Netzwerks durchgeführt wird, d.h. [y,z] → x.

• Aus p(x|y) wird in eine deterministische Funktion x=f(y,z) mit der "verrauschten" Variable z.

Stefan Bosse - Maschinelles Lernen - Inverse Modellierung - Zusammenfassung

Zusammenfassung

• Das Training von Vorwärtsmodellen ist ein Standardverfahren

• Häufig - gerade in der Soziologie - ist man an Rückwärtsmodellen interessiert, d.h. die Invertierung der aus empirischen Daten algorithmisch gelernten Modelle

• Die Inversion ist schwierig durch Mehrdeutigkeit der Abbildung

• Variablenintervalle und Wertdiskretisierung können das Inversionsproblem auf Randbedingsungslösen reduzieren und lösbar machen

• Inversion von ANN benötigt eine übergeordnete bidirektionale und umschaltbare Netzwerkstruktur