PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN ::

Regressionsverfahren, SVM und KNN

Bisher wurden vor allem kategorische Zielvariablen betrachtet. Nun soll ein Schwerpunkt auf numerischen Variablen liegen.

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN ::

Regressionsverfahren, SVM und KNN

Bisher wurden vor allem kategorische Zielvariablen betrachtet. Nun soll ein Schwerpunkt auf numerischen Variablen liegen.

Regressionsverfahren passen eine parametrisierte mathematische Funktion an Messdaten an.

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN ::

Regressionsverfahren, SVM und KNN

Bisher wurden vor allem kategorische Zielvariablen betrachtet. Nun soll ein Schwerpunkt auf numerischen Variablen liegen.

Regressionsverfahren passen eine parametrisierte mathematische Funktion an Messdaten an.

Neben den "klassischen" Regressionsverfahren wie Least Square Fit gehören grundsätzlich auch Support Vector Machines (SVM) und Künstliche Neuronale Netzwerke dazu!

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN ::

SVM gehören zu den Regressionsverfahren

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN ::

SVM gehören zu den Regressionsverfahren

SVM nutzen aber bei der Parameteranpassung (Training) eine andere Fehlerfunktion (Loss) als bei anderen gängigen Regressionsverfahren (z.B. Least-Square Minimierung)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN ::

SVM gehören zu den Regressionsverfahren

SVM nutzen aber bei der Parameteranpassung (Training) eine andere Fehlerfunktion (Loss) als bei anderen gängigen Regressionsverfahren (z.B. Least-Square Minimierung)

SVM können primär kategorische und weniger numerische Zielvariablen abbilden

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN ::

SVM gehören zu den Regressionsverfahren

SVM nutzen aber bei der Parameteranpassung (Training) eine andere Fehlerfunktion (Loss) als bei anderen gängigen Regressionsverfahren (z.B. Least-Square Minimierung)

SVM können primär kategorische und weniger numerische Zielvariablen abbilden

SVM sind aber (zunächst) lineare Klassifikatoren!

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Regressionsverfahren

Regressionsverfahren

• Klassifikationsprobleme sind durch Booleschen Ausgabevariablen gekennzeichnet (Klasse c_i={true,false})

• Bei Regressionproblemen findet hingegen eine Ausgabe mit kontinuierlichen Variablen statt, idealerweise y ∈ [0,1]

• D.h. es gibt Trainingsdaten mit:

$${D}={X}^{{t}}={{\left\lbrace\vec{{x}}^{{t}},{r}^{{t}}\right\rbrace}_{{{t}={1}}}^{{{N}}}}$$

wobei r ∈ ℝ. Wenn Rauschen vernachlässigt wird handelt es sich um ein reines Interpolationsproblem.

• Das Ziel ist es nun, eine Funktion f(x) zu finden, die die Trainingsdaten optimal repräsentiert (also die beste Hypothese g von f finden)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Regressionsverfahren

Beispiel

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Regressionsverfahren

Es wird immer einen Fehler ε geben (Rauschen in den "Trainingsdaten" r):

$${y}{\left(\vec{{x}}^{{t}}\right)}={r}^{{t}}={f{{\left(\vec{{x}}^{{t}}\right)}}}+\epsilon$$

• Ziel der Regression ist es diesen Fehler über eine Verlustfunktion zu minimieren in dem Parameter Θ der Funktion f angepasst werden:

$$\text{arg}\ \text{ }\ {\underset{{\theta}}{{\text{min}}}}\ \text{ }\ \epsilon\to{E}{\left({g}{\mid}{X}\right)}=\frac{{1}}{{N}}\sum{\left({r}^{{t}}-{g{{\left(\vec{{x}}^{{t}}\right)}}}\right)}^{{2}}$$

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Regressionsverfahren

Lineare Multivariate Regression

• Es wird angenommen dass die Funktion f(x) durch eine lineare Funktion über x abgebildet werden kann.
• Dann gilt:

$${y}_{{p}}{\left(\vec{{x}}\right)}={g{{\left(\vec{{x}}\right)}}}={w}_{{1}}{x}_{{1}}+{w}_{{2}}{x}_{{2}}+..+{w}_{{d}}{x}_{{d}}+{w}_{{0}}={\sum_{{{j}={1}}}^{{{d}}}}{w}_{{d}}{x}_{{d}}+{w}_{{0}}$$

• Bei nichtlinearen Zusammenhängen wird die Regressionsfunktion noch komplexer!

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Regressionsverfahren

Nichtlineare Univariate Regression

• Es gibt nur eine Eingabevariable und die Hypothesenfunktion wird durch ein Polynom k-ter Ordnung approximiert:

$${g{{\left({x}\right)}}}={w}_{{0}}+{w}_{{1}}{x}+{w}_{{2}}{x}^{{2}}+..+{w}_{{k}}{x}^{{k}}={\sum_{{{j}={1}}}^{{{k}}}}{w}_{{j}}{x}^{{j}}+{w}_{{0}}$$

• Wird von einem Polynom ersten Grades ausgegangen (Gerade) dann gilt es folgende Gleichung zu bestimmen und das Minimierungsproblem zu lösen:

$${g{{\left({x}\right)}}}={w}_{{1}}{x}+{w}_{{0}}\\ {E}{\left({w}_{{1}},{w}_{{0}}{\mid}{X}^{{t}}\right)}=\frac{{1}}{{N}}{\sum_{{{t}={1}}}^{{{N}}}}{\left({r}^{{t}}-{\left({w}_{{1}}{x}^{{t}}+{w}_{{0}}\right)}\right)}^{{2}}$$

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Regressionsverfahren

• Den Minimumspunkt dieser Fehlergleichung findet man durch Gradientenbildung der Parameter, das bedeutet dann:

$${w}_{{1}}=\frac{{\sum_{{t}}{x}^{{t}}{r}^{{t}}-\overline{{x}}\overline{{r}}{N}}}{{\sum_{{t}}{\left({x}^{{t}}\right)}^{{2}}-{N}\overline{{x}}^{{2}}}}\\ {w}_{{0}}=\overline{{r}}-{w}_{{1}}\overline{{x}}\\ \overline{{x}}=\sum_{{t}}\frac{{x}^{{t}}}{{N}},\overline{{r}}=\sum_{{t}}\frac{{r}^{{t}}}{{N}}$$

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Regressionsverfahren

Nichtlineare Multivariate Regression

• Sehr hochdimensionales Problem! Und i.A. völlig unterbestimmt (d.h. kein eindeutigen Zusammenhänge zwischen x und y)

$${g{{\left(\vec{{x}}\right)}}}={\sum_{{{i}={1}}}^{{{d}}}}{\sum_{{{j}={1}}}^{{{k}}}}{w}_{{{i},{j}}}{{x}_{{i}}^{{j}}}+{w}_{{0}}$$

• Ein numerisches Lösen ist meist nicht mehr möglich; daher Verwendung nichtlinearer Randbedingungslöser sowie statistische Verfahren wie randomiserte Monte Carlo Simulation und Simmuliertes Abkühlen (Evolutionäre Algorithmen?)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Regressionsverfahren

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Direkte Lösungsverfahren

Direkte Lösungsverfahren

Single Value Decomposition (SVD)

4

• Erweiterung der Eigenwertanalyse und verwendet Matrixalgebra und Inversionsmethoden

• Ansatz: Dekomposition einer (nichtlinearen) Funktion f(x,Θ) mit b Basisfunktionen ϕ, z.B. sin oder ähnlich, mit Parametersatz Θ:

$${{f}_{\Theta}{\left(\vec{{x}}\right)}}={\sum_{{{j}={1}}}^{{{b}}}}\Theta_{{j}}\phi_{{j}}{\left({x}\right)}\\ {{f}_{\Theta}{\left(\vec{{x}}\right)}}=\vec{\Theta}^{{T}}\vec{\phi}{\left({x}\right)}$$

• Z.B. ϕ(x) = (1,x,x²,..,x^b-1)^T, oder ϕ(x) = (1,sin(x),cos(x),sin(2x),...)^T

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Direkte Lösungsverfahren

• Die gesamte Trainingstabelle wird in Matrixform repräsentiert, und somit erhält man eine Parametermatrix Φ mit den Basisfunktionstermen für die anzupassenden Funktion f(x)_Θ (Design Matrix):

$$\hat{\Phi}={\left(\matrix{\phi_{{1}}{\left(\vec{{x}}_{{1}}\right)}&..&\phi_{{b}}{\left(\vec{{x}}_{{1}}\right)}\\\ldots&\ldots&\ldots\\\phi_{{1}}{\left(\vec{{x}}_{{n}}\right)}&..&\phi_{{b}}{\left(\vec{{x}}_{{n}}\right)}}\right)}$$

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Direkte Lösungsverfahren

• Die Lösung (der Funktionsparameter Θ) geschieht dann doch Matrixinversion der Designmatrix Φ:

$$\hat{\Theta}_{{{L}{S}}}={\left(\Phi^{{T}}\Phi\right)}^{{-{1}}}\Phi^{{T}}{y}\\ \hat{\Theta}_{{{L}{S}}}=\Phi^{{G}}{y}$$

mit Φ^G als generalisierte Inverse der Matrix Φ

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Support Vector Machines (SVM)

Support Vector Machines (SVM)

• SVM Verfahren gehören zu den "Maximum Margin" Methoden

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Binärer Klassifikator

Binärer Klassifikator

• Ein binärer Klassifikator soll durch eine lineare Funktion repräsentiert werden (y={-1,+1}, linearer Kernel):

$$f(\vec{x}):\vec{x} \rightarrow y=\vec{w}^T\vec{x}+\gamma$$

Dabei sind w und γ die Parameter des Modells die durch das Training an das Problem angepasst werden müssen.

• w ist ein Normalenvektor der bei einem binären Klassifikationsproblem die beiden Instanzklassen trennt

• y kann tatsächlich auch außerhalb der Grenzen [-1,1] liegen (klar: Polynome haben keine Grenzen)!

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Binärer Klassifikator

4 (Oben) w ist der Normalenvektor und γ die Verschiebung der Trennungsgrenze für zwei Klasseninstanzen (Unten) Verschiedene w/γ Varianten der Trennungsgrenze mit unterschiedlichen Rändern (Sicherheitsbereichen)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Training

Training

• Das Lernen von w und γ erfordert die Berechnung des Abstandes von allen Dateninstanzen (x,y)_i von der Trenngrenze. Die Abstände müssen positiv sein:

$$f(\vec{x}_i)y_i=(\vec{w}^T\vec{x}_i+\gamma)y_i > 0, \forall i$$

für alle Dateninstanzen D={(x_i,y_i)}ⁿ.

• Da w und γ beliebig gewählt werden können, kann die Randbedingung auch mit (..)y_i ≥ 1 gewählt werden.

• Weiterhin kann es sinnvoll sein alle Dateninstanzen um den Ursprung des Koordinatensystems zu zentrieren

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Training

Wichtig: Die Werte für y liegen im Intervall [-1,1]!

• Alle Probleme die (..)y_i ≥ 1 erfüllen mit einem (w,γ) sind linear separierbar.

• Es gibt unendlich viele Lösungen (also Entscheidungsgrenzen)

• Man wählt das (w,γ) aus bei der alle Dateninstanzen die größte Trennung besitzen (breitester Trennbereich, siehe Abb.)

• Der Abstand der Dateninstanzen D ist definiert als das Minimum des normalisierten Abstandes:

$$m_i=(\vec{w}^T\vec{x}_i+\gamma)y_i/||\vec{w}||$$

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Training

• D.h. SVM zu trainieren ist das Minimierungsproblem zu lösen:

$$\mathop {\min }\limits_i \frac{(\vec{w}^T\vec{x}_i+\gamma)y_i}{||w||}=\frac{1}{||w||}$$

• Jede Dateninstanz die nicht in den Trennbereich "eindringt" ist ein Supportvektor!

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Training

Harter Trennungsbereich (Hard SVM)

• Bei einer "harten" Trennung einer SVM gilt dann:

$$\mathop {\min }\limits_i 1/2 ||w||^2, (\vec{w}^T\vec{x}_i+\gamma)y_i \geqslant 1, \forall i$$

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Training

Weicher Trennungsbereich (Soft SVM)

• Die SVM mit harten Trennungsbereich erfordert lineare Separierbarkeit der Dateninstanzen

  • Ist in der Realität aber nicht immer oder eher selten gegeben

• Die weiche Trennung durch eine SVM führt einen Fehlerparametervektor ξ={ξ_i}ⁿ für die Bestimmung des Trennbereichs ein:

$$\mathop {\min }\limits_{\forall i:w,\xi,\gamma} \left[1/2 ||w||^2 + C\sum_i\xi_i\right],\\ (\vec{w}^T\vec{x}_i+\gamma)y_i \geqslant 1 - \xi_i, \xi_i \geqslant 0, \forall i$$

• Sie lässt einzelne nicht (linear) separierbare Datenpunkte zu (zur Erinnerung: i ist der i-te Datenpunktm, die i-te Dateninstanz).

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Training

4 Weicher Trennbereich einer SVM (Soft margin SVM). Durch ξ werden kleine Klassifikationsfehlerbereiche erlaubt.

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Training

Dabei ist C ein einstellbarer Parameter der den Fehler steuert und für den gilt:

$${C}=\alpha_{{i}}+\beta_{{i}}$$

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Multiklassen SVM

Multiklassen SVM

• Anders als bei ANN ist bei SVMs aber nur eine One-hot Kodierung möglich (ggfs. mit Softmaxfunktion).

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: R SVM (custom)

R SVM (custom)

model <- svm(
    x = data.frame, 
    y? = vector, # scaled to [-1,1]?
    formula? = y ~ x,
    # threshold function on output? highest value of multi-svms is winner
    threshold = boolean,  
    # default : 1.0. C in SVM.
    C = number, 
    # default : 1e-4. Higher tolerance --> Higher precision
    tol = number, 
    # default : 20. Higher max_passes --> Higher precision
    max_passes = number,
    # default : 1e-5. Higher alpha_tolerance --> Higher precision
    alpha_tol = number, 
    kernel = string|list, # linear, rbf, .. list(type= 'rbf', sigma= 0.5) .. 
    # list( type = "polynomial", c =  1, d = 5=
)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Beispiel

Beispiel

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Künstliche Neuronale Netze

Künstliche Neuronale Netze

• Ein Künstliches Neuronales Netz (KNN) ist ein gerichteter Graph bestehend aus einer Menge von Knoten N und Kanten E die die Knoten verbinden
  • Knoten: Neuron oder Perzeptron mit einem oder mehreren Eingängen I und einem Ausgang o; Berechnungsfunktion g(I): I → o
  • Kanten: Gewichteter Datenfluss vom Ausgang eines Neurons zum Eingang eines anderen (oder des selben) Neurons

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Künstliche Neuronale Netze

• Zusammengefasst ausgedrückt:

$$\begin{gathered} M(X):X \to Y,X = \{ {x_i}\} ,Y = \{ {y_j}\} \hfill \\ KNN = \left\langle {{N_x},{N_d},{N_y},E} \right\rangle \hfill \\ {N_x} = \{ {n_i} : n_i \leftrightarrow \{x_j\} \} ,{N_d} = \{ n_d \}, {N_y} = \{ {n_k}: n_k \leftrightarrow y_k\} \hfill \\ n = g(\vec{p},\vec{w},b): \vec{p}\rightarrow o = f(\sum_i w_ip_i+b) \hfill \\ E = \{ {e_{ij}}:{n_i} \mapsto {n_j}w_{ij} \} \hfill \ \end{gathered}$$

• f ist eine Transferfunktion die die akkumulierten Eingangswerte auf den Ausgangswert o abbildet, und g ist dann die gewichtete und akkumulative Transferfunktion

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Künstliche Neuronale Netze

• Unterschied (künstliches) Neuron und Perzeptron:
  • Ein Neuron ist immer eine Elementarzelle
  • Ein Perzeptron kann ein einzelnes Neuron oder ein Netzwerk aus Neuronen beschreiben
• Daher gibt es:
  • Single Layer Perceptron (SLP) → Nur Eingangs- N_x und Ausgangsneuronen N_y
  • Multi Layer Perceptron (MLP) → + Innere Neuronen N_d

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Das Neuron

Das Neuron

15 Ein einzelnes Neuron mit einem einzelnen Eingang p und einem Ausgang o. w ist ein Gewichtungsfaktor (ein Gewicht für eingehendes p) und b ist ein Bias (Offset)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Das Mehreingangsneuron

Das Mehreingangsneuron

15 Ein einzelnes Neuron mit einem Eingangsvektor p und einem skalaren Ausgang o. w ist ein Gewichtungsfaktorvektor (ein Gewicht für eingehendes p) und b ist ein Bias (Offset)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Neuronale Netze und Matrizen

Neuronale Netze und Matrizen

• Neuronale Netze werden durch eine Graphenstruktur (statische Parameter) und mathematisch durch Matrizen (dynamische Parameter) beschrieben:

15 Ein einzelnes Neuron mit einem Eingangsvektor p und einem skalaren Ausgang o. w ist ein Gewichtungsfaktorvektor (ein Gewicht für eingehendes p) und b ist ein Bias (Offset); jetzt in Matrizenform (Annotation)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Schichten von Neuronalen Netzen

Schichten von Neuronalen Netzen

• I.A. werden Neuronen von neuronalen Netzen in Schichten (Layer) angeordnet und gruppiert
  • Günstig für Matrixalgebra
  • Aber nicht notwendig!

15

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Struktur eines KNN

Struktur eines KNN

15 Grundlegende Struktur eines KNN mit Matrizen (blaue Ellipse=1 Neuron)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Vereinfachte Form eines KNN

Vereinfachte Form eines KNN

15 Vereinfachte Struktur eines KNN mit Matrizen

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Klassen von KNN

Klassen von KNN

Vorwärtsgekoppelte Netzwerke

Azyklischer gerichteter Graph, d.h. es gibt nur eine Vorwärtspropagation von einer Schicht zur nächsten (keine Rückkopplung).

• Diese Netzwerke können rein funktional beschrieben und berechnet werden.
• Es gibt keinen Zustand!
• D.h. die aktuellen Ausgangswerte hängen nur von den aktuellen Eingangswerten ab!

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Klassen von KNN

Rückgekoppelte Netzwerke

Zyklischer gerichteter Graph, d.h. es gibt Rückkopplungen (Ausgang eines Neurons geht in Eingänge der aktuellen oder vorherigen Schichten).

• Diese Netzwerke können nicht rein funktional beschrieben und berechnet werden!
• Sie besitzen einen Zustand, d.h. der Ausgangswert hängt von der Historie vergangener Eingabewerte und Berechnungen ab!

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Rückgekoppelte Netzwerke

Rückgekoppelte Netzwerke

• Geeignet für Prädiktion auf zeit- und Datenserien D(t)=d₀,d₁,...,d_t

15 Rückgekoppeltes und zustandsbehaftetes KNN mit einer Verzögerungsfunktion (Speicher)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Transferfunktion

Transferfunktion

• Auch Aktivierungsfunktion genannt (in Anlehnung an biologische Vorbild mit stark nichtlinearer Übertragungskennline)

  • Biologisch: Häufig eine Schwellwertfunktion
  • Künstlich / ML: Auch lineare Übertragunsfunktionen!

• Es gibt eine Vielzahl verschiedener Funktionen

  • Die einfachste wäre (wenn auch wenig in Gebrauch): ${f{{\left({a}\right)}}}={a}$

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Transferfunktion

• Welche mathematischen Eigenschaften (Übertragungskurve) sollte wohl eine Transferfunktion besitzen?
  • Zur Erinnerung: Wir nehmen an dass der Wertebereich von einem x ≈ [-1,1] ist. Ebenso für ein y ≈ [-1,1].

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Transferfunktion

15 Verschiedene gebräuchliche Transferfunktionen f(a)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Ein einfaches Neuron - Funktional

Ein einfaches Neuron - Funktional

$$f_{sigmoid}(a) = \frac{1}{1+e^{-a}} \\ g(x_1,x_2,x_3) = f_{sigmoid}(b + \sum w_ix_i)$$

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Parametersatz des KNN

Parametersatz des KNN

Statische Parameter

• Anzahl der Eingangsneuronen (verbunden mit x), abhängig von der Anzahl der Eingabevariablen |x| und der Kodierung (numerisch vs. kategorisch)

• Anzahl der Ausgangsneuronen (abhängig von der Kodierung). Bei numerischen Zielvariablen y gilt also: |N_y|=|y|

• Anzahl der inneren verdeckten Neuronen |N_d| und deren Anordnung in Schichten

• D.h. die Konfiguration des Netwerks ist [c₁,c₂,..,c_m] bei m Schichten und c_i Neuronen pro Schicht

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Parametersatz des KNN

• Bei vollständig verbundenen Schichten ist keine Angabe der Vernetzung notwendig

Dynamische Parameter

• Im wesentlichen die Gewichtungsmatrix W_i (Schicht i):

$$W_i = \left[ {\begin{array}{*{20}{c}} {{w_{1,1}}}&{{w_{1,2}}}& \cdots &{{w_{1,R}}} \\ {{w_{2,1}}}&{{w_{2,2}}}& \cdots &{{w_{2,R}}} \\ \vdots & \vdots &{}& \vdots \\ {{w_{S,1}}}&{{w_{S,2}}}& \cdots &{{w_{S,R}}} \end{array}} \right],B_i = \left[ {\begin{array}{*{20}{c}} {{b_1}} \\ \vdots \\ {{b_S}} \end{array}} \right]$$

Mit S: Anzahl der Neuronen in der Schicht, R: Anzahl der Eingangsvariablen (oder Neuronen der vorherigen Schicht)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Parametersatz des KNN

• Der Ausgangswert eines Neurons n_j ist dann gegeben durch einen Wert aus B und die j-te Zeile von W:

$$o(\vec{p})=f(_jW^T\vec{p}+b_i)$$

• Bei mehrschichtigen Netzwerken hat man eine Menge von Gewichtematrizen, die zu einem Tensor zusammengefasst werden können.

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Training von KNN

Training von KNN

• Wie bei allen überwachten Lernproblemen gilt es eine Fehlerfunktion zu minimieren:

$$M(\vec{x}): \vec{x} \rightarrow \vec{y} \\ \underset{W}{\mathrm{argmin}} \,\,\, err(M)=|y(\vec{x})-y_0(\vec{x})|, \forall (x,y_0) \in D$$

Ziel ist die Minimierung des Fehlers unserer Modellhypothese M(x) durch Anpassung der Gewichtematrix W und evtl. (wenn vorhanden) des Offsetvektors B

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Fehler

Fehler

LS1

$${e}{r}{r}={y}-{y}_{{0}}\\ {e}{r}{r}={\left|{y}-{y}_{{0}}\right|}$$

LS2

$${e}{r}{r}={\left({y}-{y}_{{0}}\right)}^{{2}}$$

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Fehler

Erklärbarkeit

• Der Zusammenhang von y und x (x → y) ist schon bei einem einschichtigen Netzwerk nur noch schwer nachvollziehbar!
• Eine Invertierung (inverses Problem y → x) ist ebenso nur schwer möglich
• Eigentlich ist nur ein einzelnes Neuron erklärbar und verständlich
  • Dort ist die Anpassung (des Gewichtungsvektors w) noch durch multivariate Regression möglich

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Fehler

Beispiel

• Trainingsverfahren: Einfache Fehlerückpropagation
• Problem: x=(a,b), y
• Netzwerk: Ein Neuron, Sigmoid Transferfunktion

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Nichtlineare Probleme

Nichtlineare Probleme

15 Nichtlinear separierbare Probleme - nur mit MLP klassifizierbar

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Nichtlineare Probleme

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Error Backpropagation Verfahren

Error Backpropagation Verfahren

• Bekanntes und gängiges Verfahren

https://hmkcode.com/ai/backpropagation-step-by-step

Gradientenverfahren

• Baut auf dem Minimierungsansatz "Gradient Descent" (GD) auf (Absteigender Gradient)

• Beim GD Verfahren wird eine Funktion, z.B. f(x,w): x → y derart über den Parameter w angepasst so dass der Fehler err=|y-y₀| minimal wird

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Error Backpropagation Verfahren

• Es wird nun die Änderung des Fehlers beobachtet Δerr und der (oder später die) Parameter w mit der Ableitung des Fehlerwerts ∂err/∂w zu der Änderung des Parameters korrigiert:

$$w' = w - \alpha \frac{\partial err}{\partial w}$$

• Vereinfacht gilt aber (grobe Näherung):

$$\frac{\partial err}{\partial w} \sim x (y-y_0)$$

• Jetzt wird ein neuronales Netzwerk betrachtet, wo die Neuronen ebenfalls Funktionen mit Eingangsvariablen und Ausgangsvariablen sind

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Error Backpropagation Verfahren

• Bei zusammengesetzten Funktionen (z.B. auch Neuronen in inneren Schichten) müssen die Gewichte schrittweise von hinten nach vorne angepasst werden

hmkcode.com/ai/backpropagation-step-by-step Beispiel eines ANN mit Kantengewichten und dem Ansatz der Backpropagation

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Error Backpropagation Verfahren

• Die Gewichte werden nun Schicht für Schicht unter Einbeziehung der gewichteten Fehlerpropagation gleichermaßen angepasst

hmkcode.com/ai/backpropagation-step-by-step Backpropagation des Fehlers zu den Eingängen des Beispielnetzwerkes

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Error Backpropagation Verfahren

• Bei Transferfunktionen mit Sättigung (Clipping) kann es zu "toten" Netzwerknoten kommen,

  • d.h. weder eine kleine Änderung am Eingang eines Neurons noch eine kleine Korrektur der Gewichte/des Bias führen zu einer Änderung des Ausgangswertes kommen (gesättigte Netzwerkknoten)
  • Eine weitere Fehlerpropagation wird dadurch verhindert

• Ausweg: Randomisiertes Drop-out (Abschalten von Neuronen) und Suche nach gesättigten Neuronen mit anschließender Parameterkorrektur so dass der Ausgang der Transferfunktion in den Arbeitsbereich verlegt wird!

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Kategorische Multiklassen Probleme

Kategorische Multiklassen Probleme

• Wenn die Ergbnisvariable vom kategorischen Typ ist dann gibt es zwei Möglichkeiten:

One-Hot Kodierung

Jedes Klassensymbol (also ein diskreter Wert v_i der Zielvariable y) wird durch ein Ausgangsneuron repräsentiert

Multi-level Kodierung

Jedes Klassensymbol wird durch einen Wert aus dem Wertebereich eines Ausgangsneurons repräsentiert

• Problem: Nicht lineare Transferfunktion und Sättigungsverhalten

• Die gleichen Verfahren sind auch auf kategorische Eingabevariablen anwendbar

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Numerische Prädiktorfunktionen

Numerische Prädiktorfunktionen

• Neben der Klassifikation lassen sich mit ANN auch numerische (kontinuierliche) Funktionen lernen

• Damit wird Funktionsapproximation wie bei den Regressionsverfahren möglich

  • Unterschied: Bei der Regression ist die funktionale Struktur von f(x): x → y bereits fest und muss vorgegeben sein
  • Die Verwendung eines ANN bietet da auch noch indirekt das Lernen der funktionalen Strukturen neben der Anpassung der Parameter

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Numerische Prädiktorfunktionen

• Es können auch mehrdimensionalen Vektorfunktionen (also mit mehreren Ausgabevariablen) approximiert werden durch:
  1. Mehrere Ausgangsneuronen (gekoppeltes Netzwerk)
  2. Mehrere Netzwerke mit jeweils einem Ausgangsneuron (entkoppelte Netzwerke)

• Die Sigmoid (Log Rregression) Funktion ist abschnittsweise linear - ähnlich einem elektronischen Operationsverstärker ⇒ Analoge Rechner!!

• Begrenzung/Sättigung schränkt den Lösungsraum ein (gewollt!)

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Literatur zur Vertiefung

Literatur zur Vertiefung

[1] M. T. Hagan, howard B. Demuth, M. H. Beale, and O. D. Jesus, Neural Network Design. https://hagan.okstate.edu/nnd.html

Sugiyama, ItSML, pp 303

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Zusammenfassung

Zusammenfassung

• Regressionsverfahren werden auf kontinuierliche Zielvariablen angewendet (der Hypothesenraum kann bei nichtlinearen Problemen sehr groß werden)

• Eine SVM wird als binärer Klassifikator verwendet und wird i.A. durch eine lineare Funktion (Kernel) repräsentiert

  • Das Problem sollte dann linear separierbar sein!

• Multiklassenprobleme werden auf Multi-SVMs zurückgeführt

  • Verwendung einer Softmax Funktion für eindeutige Klassentrennung

• Das Training einer SVM ist ein Minimierungsproblem dass den Trennbereich maximiert und den Fehler minimiert

PD Stefan Bosse - Automatische Schadensdiagnostik - Modul E Regressionsverfahren, SVM und KNN :: Zusammenfassung

Zusammenfassung

• Neuronale Netze bestehen aus Neuronen

• Neuronen sind zusammengesetzte Funktionen: Produktsummation und Transferfunktion

• Die Kanten verbinden Ausgänge von Neuronen mit den Eingängen nachfolgender Neuronen mit einer Multiplikation eines Gewichtfaktors

• Alle Eingänge eines Neurons werden summiert, das Ergebnis einer Transfer/Aktivierungsfunktion übergeben (reduktion eines Vektors auf Skalar)

• Training ist ein Minimierungsproblem und bedeutet Anpassung der Gewichte um den Ausgangsfehler zu minimieren

  • Gängiges Verfahren: Fehlerrückpropagation und Fehlergradient