PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Ein- und Ausgabeschnittstellen von Prädiktorfunktionen

Kodierung und Dekodierung von Variablen für kont. Prädiktorfunktionen

Normalisierung und Skalierung von Daten

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Kagetorische Variablen

• Kategorische Variablen müssen für die Verwendung in Prädiktorfunktionen in numerische Werte kodiert werden
  • Multi-level Kodierung: Abbildung von allen kategorischen Werten auf unterschiedlich numerische Werte (skalare und vektorielle Werte)
  • One-hot Kodierung: Abbildung von allen kategorischen Werten auf 01 Vektoren

Aber: Anders als die Intervallkodierung von numerischen Variablen (z.B. für Entsch.bäume) muss im umgekehrten Fall der Kodierung einer kat. Variable in eine numerische Variable eine Intervall- und Verhältnisskalierung existieren!!

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Beispiele

• Farben C={rot,grün,blau,braun}
  • Kodierung in skalaren kont. Variable aber mit diskreten Werten
  • Kodierung in vektorielle Variable mit kont. Werten → RGB

$${z_1}(C) = \left\{ {\begin{array}{_{20}{l}} {1,C = {\text{rot}}} \\ {2,C = {\text{gruen}}} \\ {3,C = {\text{blau}}} \\ {4,C = {\text{braun}}} \end{array}} \right.,{z_2}(C) = \left\{ {\begin{array}{_{20}{l}} {(1.0,0.0,0.0),C = {\text{rot}}} \\ {(0.0,1.0,0.0),C = {\text{gruen}}} \\ {(0.0,0.0,1.0),C = {\text{blau}}} \\ {(0.5,0.0,0.5),C = {\text{braun}}} \end{array}} \right.$$

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Welche Probleme ergeben sich bei der Multi-level Kodierung (skalar) von Zielvariablen bei typischen Sigmoid Transferfunktionen von Neuronen?

• Nichtlineare Funktion×
• Sättigung an den Grenzen×
• No search results.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Nichtlinearität an den Rändern [0,1]

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Ein- und Ausgabeschnittstellen

Verschiedene Kodierungen von ein-/ausg. kat. Variablen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

• Die One-hot Kodierung von Eingabevariablen erfordert die Berechnung eines diskretwertigen Vektors

• Aber die One-hot Kodierung von Ausgabevariablen ergibt einen kontinuierlichen Vektor der noch diskretisiert werden muss:

  • Schwellwertfunktion → Es kann zu Mehrdeutigkeiten kommen (Unentscheidbarkeit)
  • Der kont. Ausgangswert y_i (C_i) wenn im Bereich [0,1] kann als ein Maß für die Wahkrscheinlichkeit des Auftretens eines Klassensymbols C_i verwendet werden!
  • Softmax Funktion: Diese bildet einen n-dimensionalen Vektor y mit y_i ∈ [0,1] und max (Σ y_i) = |y| auf einen n-dimensionalen Vektor ab mit max (Σ y_i) = 1!

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Softmax Funktion

$$softmax (Y) = \left( {\begin{array}{_{20}{c}} {\frac{{{e^{{y_1}}}}}{{weight}}} \\ {...} \\ {\frac{{{e^{{y_n}}}}}{{weight}}} \end{array}} \right),weight = \sum {{e^{{y_k}}}} ,{y_i} \in Y,Y = \left( {\begin{array}{_{20}{c}} {{y_1}} \\ {...} \\ {{y_n}} \end{array}} \right), \\ \sum softmax (Y) \in \left[0,1\right]$$

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Fehleranalyse und Kostenfunktionen

Bewertung der Qualität eines Klassifikators oder von Prädiktorfunktionen

Aufteilung von Datensätzen

Künstliche Erweiterung von Datensätzen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Fehlerfunktionen

1. Ziel ist ein aussagekräftiger Fehlerwert um die Qualität des Trainings und des erzeugten Modells M(x):x → y bewerten zu können

2. Fehlerwerte bei kategorischen Zielvariablen vergleichen direkt die Übereinstimmung der inferrierten und vorgegebenen Werte der Zielvariablen

   • Gesamtfehler (falsche Klassifikation)
   • Falsch-positiver Fehler (binärer Klassifikator)
   • Falsch-negativer Fehler (binärer Klassifikator)
   • Falsch-C Fehler (Multiklassifikator)
   • Klassenspezifischer Fehler (Multiklassifikator)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Fehlerberechnung

Daten

• Es sei D die Gesamtmenge der Dateninstanzen D
• Es sei D_test die Testdatenmenge D_test ⊆ D

Klassifikationsfehler

$$err({Y^0},{Y^p}) = \frac{1}{N}\sum\limits_{i \in D} {\left\{ {\begin{array}{*{20}{l}} {1,Y_i^0 \ne Y_i^p} \\ 0 \end{array},} \right.} {Y^0} = D_{test}(Y),N = \left| D_{test} \right|$$

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

• Dabei sind Y⁰ die vorgegebenen Werte der Zielvariablen und Y^p die aus dem trainierten Modell berechneten (inferrierten) Werte

• Der Inferenzfehler liegt dann im Bereich [0,1]

• Bei binärer Klassifikation sollten die Falsch-positiv und Falsch-negativ Fehler zusätzlich getrennt bestimmt werden:

$$err_C({Y^0},{Y^p}) = \frac{1}{N}\sum\limits_{j\in D(Y=C)} {\left\{ {\begin{array}{*{20}{l}} {1,Y_j^0 \ne Y_j^p} \\ 0 \end{array},} \right.} N = \left| D_{test}(Y=C) \right|$$

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Konfusionsmatrix

• Bei Multiklassifikation bietet sich die Konfusionsmatrix an um eine Bewertung der Klassifikationsqualität mit falsch-C Bewertungen einer Klasse C und somit err_C zu erfassen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Kreuzentropie

• Bei kontinuierlichen Ausgabevariablen (KNN, SVM) aber evtl. kategorischen Zielvariablen ist die Berechnung der Kreutentropie zwischen Y⁰ und Y^p aussagekräftiger

• Eine Kreuzentropie → 0 bedeutet vollständige Übereinstimmung, Werte > 0 bedeuten Abweichungen

• Je größer die Kreuzentropie zwischen zwei Vektoren/Matrizen ist, desto größer ist die Abweichung

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Berechnung der Kreuzentropie zweier Matrizen

• Eingabewerte: Matrix U und V mit Zellenwerten im Bereich [0,1]
• Ergebnis: Skalarer Wert
• Problem (siehe unten): log(0) → -∞

$$\begin{gathered} {E_{cross}}(U,V) = - mean(sumRows(A + B)), \hfill \\ A = \left( {{A_{ij}}} \right),{A_{ij}} = {U_{ij}}\log (\max ({V_{ij}},{1^{ - 9}})), \hfill \\ B = \left( {{B_{ij}}} \right),{B_{ij}} = (1 - {U_{ij}})\log (1 - \min ({V_{ij}},1 - {1^{ - 9}})), \hfill \\ mean(X) = \sum {{x_i}} /\left| X \right|, \hfill \\ sumRows(X) = \left( {{S_i}} \right),{S_i} = \sum {{X_{ij}}} \hfill \\ \end{gathered}$$

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Beispiele

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Netzwerkkonfiguration

Konfiguration von ein- und mehrschichtigen neuronalen Netzwerken

Festlegung der Anzahl der Schichten, Knoten pro Schicht, und Vernetzung

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Neuronale Netze

• Ein neuronales Netz ist ein gerichteter Funktionsgraph
• Einzelne Funktionsknoten können zu Schichten zusammengefasst werden

Eingabeschicht

Die Anzahl der Eingabeneuronen wird durch den Eingangsvektor x und der Kodierung bestimmt! Jedes Element von x ist mit einem Eingang eines Eingangsneurons verbunden

Ausgabeschicht

Die Anzahl der Ausgabeneuronen wird durch den Ausgangsvektor y und der Kodierung bestimmt! Jedes Element von y ist mit einem Ausgang eines Ausgangsneurons verbunden

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Innere Schichten

Neuronen die weder mit den Ein- noch den Ausgängen direkt verbunden sind.

Konfiguration

• Wenn von vollständig verbundenen Schichten ausgegangen wird kann die Konfiguration eines KNN mit einem Vektor/Array angegeben werden. Jedes Element gibt die Anzahl der Neuronen pro Schicht an.

• Beispiele:

layers=[1] → SLP
layers=[2,1] → SLP
layers=[2,3,1] → MLP
layers=[1,4,3,1] → MLP

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Verbindungen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

16 Vollständig verbundenes Netzwerk

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

• Die statische Festlegung der Konfiguration der inneren Schichten ist schwierig!

• Es gilt:

  • Linear separierbare Probleme verwenden keine inneren Schichten!
  • Nichtlinear separierbare Probleme können innere Schichten verwenden
  • Beim Training wirken innere Schichten zunächst wie eine "Mauer", die Wirkung auf den Ausgang wird kleiner
  • Bei inneren Schichten muss die Trainingsdatenvarianz und Anzahl der Instanzen groß sein
  • Je mehr innere Schichten und Neuronen um so mehr Trainingsinstanzen und Anstieg der Rechenzeit!

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

ML Frameworks

Tensorflow

Neataptic

Torch

ML

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Tensorflow

• Datenverarbeitung mit tiefen Künstlichen Neuronalen Netzwerken ("Deep Learning") → "Google Brain"

• Strombasierte Datenverarbeitung mit Pipelines (Queues)

  • Datenverarbeitungsgraph (Datenflussdiagram)

103

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

• TensorFlow verwendet ein einheitliches Datenflussdiagramm, um sowohl die Berechnung in einem Algorithmus als auch den Zustand darzustellen, in dem der Algorithmus arbeitet.

• Im Gegensatz zu herkömmlichen Datenflusssystemen, bei denen Knoten funktionale Berechnungen für unveränderliche Daten darstellen, ermöglicht TensorFlow Kanten mit Berechnungen darzustellen, die einen veränderlichen Zustand besitzen oder aktualisieren [103].

• https://www.tensorflow.org

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

• Durch die Vereinheitlichung des Berechnungs- und Zustandsmanagements in einem einzigen Programmiermodell ermöglicht TensorFlow Programmierern, mit verschiedenen Parallelisierungsschemata zu experimentieren, die beispielsweise die Berechnung auf Servern oder GPUs erlauben.

• Eine typische TensorFlow-Anwendung hat zwei verschiedene Phasen:

1. Die erste Phase definiert das Programm (Z. B. ein zu trainierendes neuronales Netzwerk und die Aktualisierungsregeln) als Symbolisches Datenflussdiagramm mit Platzhaltern für die Eingabedaten und Variablen, die den Status darstellen.
2. Die zweite phase führt eine optimierte Version des Programms auf einer Menge verfügbarer Geräte aus (z.B. Server, CPU, GPU).

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Verabeitungseinheiten

• Das "Programm" ist zunächst unabhängig von der verwendeten Verarbeitungsarchitektur

• Abstraktion für heterogene Beschleuniger: Neben Allzweckgeräten wie multicore-CPUs und GPUs können spezielle Beschleuniger für Deep Learning signifikante Leistungsverbesserungen und Energieeinsparungen erzielen.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Verabeitungsmodell und Parallelität

TensorFlow unterscheidet sich von batchbasierten Datenflusssystemen in zweierlei Hinsicht:

• Das Modell unterstützt mehrere gleichzeitige Ausführungen auf überlappenden Teilgraphen des Gesamtgraphen.

• Das Modell unterstützt verteilte Berechnung

• Einzelne Knoten des Graphes können einen veränderlichen Zustand haben, der zwischen verschiedenen Ausführungen des Diagramms geteilt werden kann.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Elemente des Datenflussgraphens

• In einem TensorFlow-Diagramm stellt jeder Knoten eine Einheit der lokalen Berechnung dar, und jede Kante repräsentiert die Ausgabe von oder Eingabe in einen Knoten.
  • Die Berechnung findet an Eckpunkten mit Operationen auf Werten statt, die entlang der Kanten als Tensoren fließen.

Tensoren

Alle Daten werden als monosortige Tensoren modelliert (n-dimensionale Arrays), wobei die Elemente vom primitiver Typ wie int32, float32 oder string sind (wobei string Binärdaten darstellen kann).

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Operatoren

Eine Operation nimmt m ≥ 0 Tensoren als Eingangswerte und erzeugt n ≥ 0 Tensoren als Ausgangswerte.

Zustansbasierte Operationen

Eine Operation kann einen veränderlichen zustand besitzen, der bei jeder Ausführung gelesen und/oder geschrieben wird. D.h. das Ergebnis einer Operation hängt von vorherigen Berechnungen ab!

Queues

TensorFlow unerstützt mehrere Warteschlangenimplementierungen, die Koordination von Berechnungen unterstützen.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

tensforflow.js

• Tensorflow ist primär in C++ implementiert

  • Ausführung auf speziellen Verarbeitungseinheiten wie GPUs erfordert eine Kodeübersetzung zur Laufzeit

• Es gibt Python Anbindungen

• tensorflow.js ist eine Implementierung von Tensorflow rein in JavaScript und kann in Browsern ausgeführt werden

  • GPU Nutzung z.B. über Open/WEBGL

• https://www.tensorflow.org/js

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Nachteile von Tensorflow

• Durch die Trennung von Daten, Kode, und Verarbeitungseinheiten schlechte Performanz bei "kleinen" Problemen (hohe Initialisierungszeit und Overhead)

  • Beispiel Lernen des EXOR Problems: Tensorflow.js benötigt ca 3-5 Minuten für das Training, Neataptic.js nur 100ms!

• Durch primäre Matrixalgebra nicht flexibel anpassbar

  • Z.B. kaum Möglichkeit der Verwendung von evolutionären Algorithmen (Dynamische Restrukturierung des KNN)

• Lernkurve ist am Anfang flach

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Neataptic

• Ebenfalls ein KNN Framework,

  • Reine JavaScript Implementierung
  • Basiert NICHT auf Matrixalgebra; die Neuronen werden einzeln berechnet

• Aber mit (optionalen) evolutionären Algorithmen

  • Das Training kann neben Kantengewichten auch die Struktur ändern: Knoten und Kanten können getauscht, entfernt, oder hinzugefügt werden!

• Für kleine Probleme gute Perfomanz

• Lernkurve ist "steil"

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

• Bietet eine Vielzahl von Berechnungsfunktionen und Strukturen

  • Struktur kann beliebig und irregulär programmiert werden
  • Es gibt "Architekten" für viele gängige Architekturen
  • Forwärtsgekoppelte und rückgekoppelte Architekturen

• https://wagenaartje.github.io/neataptic/

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Torch

• Torch ist eine open-source-Bibliothek für maschinelles lernen, ein scientific computing framework und eine Skriptsprache, die auf der Programmiersprache Lua basiert.

  • Daher kann mit einer einfach zu erlernden Programmiersprache direkt auf Torch gearbeitet werden

• http://torch.ch

• Torch gibt es auch für R!

  • https://torch.mlverse.org

• Lernkurve ist "steil"

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

ML

• Eigenes Framework (Stefan Bosse) dass eine Vielzahl von Lernalgorithmen und Modellen zusammenfasst:

  • Entscheidungsbäume (C4.5, ID3, ICE, usw.)
  • KNN (ANN → Neataptic, MLP → SMO, usw.)
  • Belohnungslernen (Reinforcement und Agenten L.)
  • kNN
  • Clustering (SOM)
  • Textanalyse
  • ...

• Reine JavaScript Implementierung

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

• Trennung von Daten und Algorithmen (d.h. prozedurale Progarmmierung)

  • Viele Modelle sind portabel, d.h. können direkt mit JSON.stringify und JSON.parse serialisiert und deseralisiert werden

• Enthalten in bzw. verfügbar für verschiedene Software Frameworks:

  • WorkBook
  • NoteBook (digitale Übungen)
  • JAM (JavaScript Agent Machine)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Beispiele

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul F: Schnittstellen, Konfiguration, Fehleranaylse, Frameworks

Zusammenfassung

• Es wird zwischen Klassifikatoren (kategorische Zielvariablen) und Prädiktorfunktionen (numerische Zielvariablen) unterschieden

  • Klassifikation mit Prädiktorfunktionen erfordert Kodierung und Dekodierung!

• Die Fehleranalyse während und nach dem Training kann mit den statistischen Größen "Mean Squared Error" und Kreuzentropie erfolgen

• Die Konfiguration der inneren Schichten von KNN ist schwierig und häufig ein iterativer Prozess