Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze -

Klassifikation und Regression mit Künstlichen Neuronale Netze

Zielvariablen: Numerische Variablen

Eigenschaftsvariablen: Numerische Variablen

Modell: Gerichteter Graph (zyklisch oder azyklisch)

Training und Algorithmen: Backpropagation

Klasse: Überwachtes Lernen

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Künstliche Neuronale Netze

Künstliche Neuronale Netze

• Ein Künstliches Neuronales Netz (KNN) ist ein gerichteter Graph bestehend aus einer Menge von Knoten N und Kanten E die die Knoten verbinden
  • Knoten: Neuron oder Perzeptron mit einem oder mehreren Eingängen I und einem Ausgang o; Berechnungsfunktion g(I): I → o
  • Kanten: Gewichteter Datenfluss vom Ausgang eines Neurons zum Eingang eines anderen (oder des selben) Neurons

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Künstliche Neuronale Netze

• Zusammengefasst ausgedrückt:

$$\begin{gathered} M(X):X \to Y,X = \{ {x_i}\} ,Y = \{ {y_j}\} \hfill \\ KNN = \left\langle {{N_x},{N_d},{N_y},E} \right\rangle \hfill \\ {N_x} = \{ {n_i} : n_i \leftrightarrow \{x_j\} \} ,{N_d} = \{ n_d \}, {N_y} = \{ {n_k}: n_k \leftrightarrow y_k\} \hfill \\ n = g(\vec{p},\vec{w},b): \vec{p}\rightarrow o = f(\sum_i w_ip_i+b) \hfill \\ E = \{ {e_{ij}}:{n_i} \mapsto {n_j}w_{ij} \} \hfill \ \end{gathered}$$

• f ist eine Transferfunktion die die akkumulierten Eingangswerte auf den Ausgangswert o abbildet, und g ist dann die gewichtete und akkumulative Transferfunktion

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Künstliche Neuronale Netze

• Unterschied (künstliches) Neuron und Perzeptron:
  • Ein Neuron ist immer eine Elementarzelle
  • Ein Perzeptron kann ein einzelnes Neuron oder ein Netzwerk aus Neuronen beschreiben
• Daher gibt es:
  • Single Layer Perceptron (SLP) → Nur Eingangs- N_x und Ausgangsneuronen N_y
  • Multi Layer Perceptron (MLP) → + Innere Neuronen N_d

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Das Neuron

Das Neuron

15 Ein einzelnes Neuron mit einem einzelnen Eingang p und einem Ausgang o. w ist ein Gewichtungsfaktor (ein Gewicht für eingehendes p) und b ist ein Bias (Offset)

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Das Mehreingangsneuron

Das Mehreingangsneuron

15 Ein einzelnes Neuron mit einem Eingangsvektor p und einem skalaren Ausgang o. w ist ein Gewichtungsfaktorvektor (ein Gewicht für eingehendes p) und b ist ein Bias (Offset)

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Neuronale Netze und Matrizen

Neuronale Netze und Matrizen

• Neuronale Netze werden durch eine Graphenstruktur (statische Parameter) und mathematisch durch Matrizen (dynamische Parameter) beschrieben:

15 Ein einzelnes Neuron mit einem Eingangsvektor p und einem skalaren Ausgang o. w ist ein Gewichtungsfaktorvektor (ein Gewicht für eingehendes p) und b ist ein Bias (Offset); jetzt in Matrizenform (Annotation)

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Schichten von Neuronalen Netzen

Schichten von Neuronalen Netzen

• I.A. werden Neuronen von neuronalen Netzen in Schichten (Layer) angeordnet und gruppiert
  • Günstig für Matrixalgebra
  • Aber nicht notwendig!

15

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Struktur eines KNN

Struktur eines KNN

15 Grundlegende Struktur eines KNN mit Matrizen (blaue Ellipse=1 Neuron)

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Vereinfachte Form eines KNN

Vereinfachte Form eines KNN

15 Vereinfachte Struktur eines KNN mit Matrizen

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Klassen von KNN

Klassen von KNN

Vorwärtsgekoppelte Netzwerke

Azyklischer gerichteter Graph, d.h. es gibt nur eine Vorwärtspropagation von einer Schicht zur nächsten (keine Rückkopplung).

• Diese Netzwerke können rein funktional beschrieben und berechnet werden.
• Es gibt keinen Zustand!
• D.h. die aktuellen Ausgangswerte hängen nur von den aktuellen Eingangswerten ab!

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Klassen von KNN

Rückgekoppelte Netzwerke

Zyklischer gerichteter Graph, d.h. es gibt Rückkopplungen (Ausgang eines Neurons geht in Eingänge der aktuellen oder vorherigen Schichten).

• Diese Netzwerke können nicht rein funktional beschrieben und berechnet werden!
• Sie besitzen einen Zustand, d.h. der Ausgangswert hängt von der Historie vergangener Eingabewerte und Berechnungen ab!

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Rückgekoppelte Netzwerke

Rückgekoppelte Netzwerke

• Geeignet für Prädiktion auf zeit- und Datenserien D(t)=d₀,d₁,...,d_t

15 Rückgekoppeltes und zustandsbehaftetes KNN mit einer Verzögerungsfunktion (Speicher)

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Transferfunktion

Transferfunktion

• Auch Aktivierungsfunktion genannt (in Anlehnung an biologische Vorbild mit stark nichtlinearer Übertragungskennline)

  • Biologisch: Häufig eine Schwellwertfunktion
  • Künstlich / ML: Auch lineare Übertragunsfunktionen!

• Es gibt eine Vielzahl verschiedener Funktionen

  • Die einfachste wäre (wenn auch wenig in Gebrauch): ${f{{\left({a}\right)}}}={a}$

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Transferfunktion

• Welche mathematischen Eigenschaften (Übertragungskurve) sollte wohl eine Transferfunktion besitzen?
  • Zur Erinnerung: Wir nehmen an dass der Wertebereich von einem x ≈ [-1,1] ist. Ebenso für ein y ≈ [-1,1].

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Transferfunktion

15 Verschiedene gebräuchliche Transferfunktionen f(a)

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Ein einfaches Neuron - Funktional

Ein einfaches Neuron - Funktional

$$f_{sigmoid}(a) = \frac{1}{1+e^{-a}} \\ g(x_1,x_2,x_3) = f_{sigmoid}(b + \sum w_ix_i)$$

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Parametersatz des KNN

Parametersatz des KNN

Statische Parameter

• Anzahl der Eingangsneuronen (verbunden mit x), abhängig von der Anzahl der Eingabevariablen |x| und der Kodierung (numerisch vs. kategorisch)

• Anzahl der Ausgangsneuronen (abhängig von der Kodierung). Bei numerischen Zielvariablen y gilt also: |N_y|=|y|

• Anzahl der inneren verdeckten Neuronen |N_d| und deren Anordnung in Schichten

• D.h. die Konfiguration des Netwerks ist [c₁,c₂,..,c_m] bei m Schichten und c_i Neuronen pro Schicht

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Parametersatz des KNN

• Bei vollständig verbundenen Schichten ist keine Angabe der Vernetzung notwendig

Dynamische Parameter

• Im wesentlichen die Gewichtungsmatrix W_i (Schicht i):

$$W_i = \left[ {\begin{array}{*{20}{c}} {{w_{1,1}}}&{{w_{1,2}}}& \cdots &{{w_{1,R}}} \\ {{w_{2,1}}}&{{w_{2,2}}}& \cdots &{{w_{2,R}}} \\ \vdots & \vdots &{}& \vdots \\ {{w_{S,1}}}&{{w_{S,2}}}& \cdots &{{w_{S,R}}} \end{array}} \right],B_i = \left[ {\begin{array}{*{20}{c}} {{b_1}} \\ \vdots \\ {{b_S}} \end{array}} \right]$$

Mit S: Anzahl der Neuronen in der Schicht, R: Anzahl der Eingangsvariablen (oder Neuronen der vorherigen Schicht)

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Parametersatz des KNN

• Der Ausgangswert eines Neurons n_j ist dann gegeben durch einen Wert aus B und die j-te Zeile von W:

$$o(\vec{p})=f(_jW^T\vec{p}+b_i)$$

• Bei mehrschichtigen Netzwerken hat man eine Menge von Gewichtematrizen, die zu einem Tensor zusammengefasst werden können.

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Training von KNN

Training von KNN

• Wie bei allen überwachten Lernproblemen gilt es eine Fehlerfunktion zu minimieren:

$$M(\vec{x}): \vec{x} \rightarrow \vec{y} \\ \underset{W}{\mathrm{argmin}} \,\,\, err(M)=|y(\vec{x})-y_0(\vec{x})|, \forall (x,y_0) \in D$$

Ziel ist die Minimierung des Fehlers unserer Modellhypothese M(x) durch Anpassung der Gewichtematrix W und evtl. (wenn vorhanden) des Offsetvektors B

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Fehler

Fehler

LS1

$${e}{r}{r}={y}-{y}_{{0}}\\ {e}{r}{r}={\left|{y}-{y}_{{0}}\right|}$$

LS2

$${e}{r}{r}={\left({y}-{y}_{{0}}\right)}^{{2}}$$

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Fehler

Erklärbarkeit

• Der Zusammenhang von y und x (x → y) ist schon bei einem einschichtigen Netzwerk nur noch schwer nachvollziehbar!
• Eine Invertierung (inverses Problem y → x) ist ebenso nur schwer möglich
• Eigentlich ist nur ein einzelnes Neuron erklärbar und verständlich
  • Dort ist die Anpassung (des Gewichtungsvektors w) noch durch multivariate Regression möglich

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Fehler

Beispiel

• Trainingsverfahren: Einfache Fehlerückpropagation
• Problem: x=(a,b), y
• Netzwerk: Ein Neuron, Sigmoid Transferfunktion

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Nichtlineare Probleme

Nichtlineare Probleme

15 Nichtlinear separierbare Probleme - nur mit MLP klassifizierbar

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Nichtlineare Probleme

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Error Backpropagation Verfahren

Error Backpropagation Verfahren

• Bekanntes und gängiges Verfahren

https://hmkcode.com/ai/backpropagation-step-by-step

Gradientenverfahren

• Baut auf dem Minimierungsansatz "Gradient Descent" (GD) auf (Absteigender Gradient)

• Beim GD Verfahren wird eine Funktion, z.B. f(x,w): x → y derart über den Parameter w angepasst so dass der Fehler err=|y-y₀| minimal wird

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Error Backpropagation Verfahren

• Es wird nun die Änderung des Fehlers beobachtet Δerr und der (oder später die) Parameter w mit der Ableitung des Fehlerwerts ∂err/∂w zu der Änderung des Parameters korrigiert:

$$w' = w - \alpha \frac{\partial err}{\partial w}$$

• Vereinfacht gilt aber (grobe Näherung):

$$\frac{\partial err}{\partial w} \sim x (y-y_0)$$

• Jetzt wird ein neuronales Netzwerk betrachtet, wo die Neuronen ebenfalls Funktionen mit Eingangsvariablen und Ausgangsvariablen sind

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Error Backpropagation Verfahren

• Bei zusammengesetzten Funktionen (z.B. auch Neuronen in inneren Schichten) müssen die Gewichte schrittweise von hinten nach vorne angepasst werden

hmkcode.com/ai/backpropagation-step-by-step Beispiel eines ANN mit Kantengewichten und dem Ansatz der Backpropagation

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Error Backpropagation Verfahren

• Die Gewichte werden nun Schicht für Schicht unter Einbeziehung der gewichteten Fehlerpropagation gleichermaßen angepasst

hmkcode.com/ai/backpropagation-step-by-step Backpropagation des Fehlers zu den Eingängen des Beispielnetzwerkes

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Error Backpropagation Verfahren

• Bei Transferfunktionen mit Sättigung (Clipping) kann es zu "toten" Netzwerknoten kommen,

  • d.h. weder eine kleine Änderung am Eingang eines Neurons noch eine kleine Korrektur der Gewichte/des Bias führen zu einer Änderung des Ausgangswertes kommen (gesättigte Netzwerkknoten)
  • Eine weitere Fehlerpropagation wird dadurch verhindert

• Ausweg: Randomisiertes Drop-out (Abschalten von Neuronen) und Suche nach gesättigten Neuronen mit anschließender Parameterkorrektur so dass der Ausgang der Transferfunktion in den Arbeitsbereich verlegt wird!

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Kategorische Multiklassen Probleme

Kategorische Multiklassen Probleme

• Wenn die Ergbnisvariable vom kategorischen Typ ist dann gibt es zwei Möglichkeiten:

One-Hot Kodierung

Jedes Klassensymbol (also ein diskreter Wert v_i der Zielvariable y) wird durch ein Ausgangsneuron repräsentiert

Multi-level Kodierung

Jedes Klassensymbol wird durch einen Wert aus dem Wertebereich eines Ausgangsneurons repräsentiert

• Problem: Nicht lineare Transferfunktion und Sättigungsverhalten

• Die gleichen Verfahren sind auch auf kategorische Eingabevariablen anwendbar

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Numerische Prädiktorfunktionen

Numerische Prädiktorfunktionen

• Neben der Klassifikation lassen sich mit ANN auch numerische (kontinuierliche) Funktionen lernen

• Damit wird Funktionsapproximation wie bei den Regressionsverfahren möglich

  • Unterschied: Bei der Regression ist die funktionale Struktur von f(x): x → y bereits fest und muss vorgegeben sein
  • Die Verwendung eines ANN bietet da auch noch indirekt das Lernen der funktionalen Strukturen neben der Anpassung der Parameter

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Numerische Prädiktorfunktionen

• Es können auch mehrdimensionalen Vektorfunktionen (also mit mehreren Ausgabevariablen) approximiert werden durch:
  1. Mehrere Ausgangsneuronen (gekoppeltes Netzwerk)
  2. Mehrere Netzwerke mit jeweils einem Ausgangsneuron (entkoppelte Netzwerke)

• Die Sigmoid (Log Rregression) Funktion ist abschnittsweise linear - ähnlich einem elektronischen Operationsverstärker ⇒ Analoge Rechner!!

• Begrenzung/Sättigung schränkt den Lösungsraum ein (gewollt!)

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Literatur zur Vertiefung

Literatur zur Vertiefung

[1] M. T. Hagan, howard B. Demuth, M. H. Beale, and O. D. Jesus, Neural Network Design. https://hagan.okstate.edu/nnd.html

Stefan Bosse - Maschinelles Lernen - Klassifikation und Regression mit Künstlichen Neuronale Netze - Zusammenfassung

Zusammenfassung

• Neuronale Netze bestehen aus Neuronen

• Neuronen sind Funktionen

• Die Kanten verbinden Ausgänge von Neuronen mit den Eingängen nachfolgender Neuronen mit einer Multiplikation eines Gewichtfaktors

• Alle Eingänge eines Neurons werden summiert, das Ergebnis einer Transfer/Aktivierungsfunktion übergeben (reduktion eines Vektors auf Skalar)

• Training ist ein Minimierungsproblem und bedeutet Anpassung der Gewichte um den Ausgangsfehler zu minimieren

  • Gängiges Verfahren: Fehlerrückpropagation und Fehlergradient