Prädiktorfunktionen mit Neuronalen Netzen

Allgemeine Hinweise

• Daten können als Elemente der this Variable gespeichert und wieder geladen werden (wie z.B. bereits verarbeitete Daten, Modelle, usw.)

• Wenn in einer Funktion (im Körper) auf das Notebook this zugegriffen werden soll, muss außerhalb der Funktion eine Referenz zu einer lokalen Variable var self=this; hergestellt werden. Z. B.

this.data=[];
var self=this;
function foo( )  {
  self.push([1,2,3,4])
}

Daten

Numerische Daten

Energy efficiency Data Set

DATA: Variable State.dataEE01 Type: {X1, X2, X3, X4, X5, X6, X7, X8, Y1, Y2} []

X1 Relative Compactness
X2 Surface Area
X3 Wall Area
X4 Roof Area
X5 Overall Height
X6 Orientation
X7 Glazing Area
X8 Glazing Area Distribution
y1 Heating Load
y2 Cooling Load

Ein einfaches Netzwerk

Vorbermerkung

• In diesem Notebook werden Daten zwischen den einzelnen Snippets durch die Variable this (eine Datenstruktur) ausgetauscht. D.h. wenn z.B. in einem Snippet Daten erzeugt werden dann dort this.data=[1,2,3], und in einem anderen Snippet können diese dann mit this.data wieder abgerufen (und natürlich auch verändert) werden.

Eine KNN-basierte Prädiktorfunktion

Nachfolgend wird gezeigt wie auf einfachen numerischen oder kategorischen Daten eine einfache Prädiktorfunktion algorithmisch durch Tarining erzeugt werden kann.

• Dabei wird das eingebaute Maschinenenlernmodul ML verwendet.
• Das ML Modul kapselt eine Vielzahl von Ml Algorithmen und Modellen

• Es gibt für alle Algorithmen und Verfahren einen gemeinsamen Satz an Operationen:

  • ML.learner: Eine neue Trainingsinatanz erstellen
  • ML.train: Mit Trainingsdaten trainieren
  • ML.predict: Inferenz eines trainiertesnModells
  • ML.test: Inferenz eines trainiertesn Modells mit Testdaten und Ausgabe von Fehlerstatistiken (momentan unvollstänig; daher mit ML.predict arbeiten und eigene Fehleranalyse durchführen)
  • ML.print: Ausgabe der Modellstruktur (wird nicht für alle Algorithmen unterstützt)

• Anders als bei Entscheidungsbaumlernern wird hier zwischen Modellerzeugung und Modellanpassung (Training) unterschieden

  • Beim Entscheidungsbaumlernen ist die Modellanpassung strukturell, hier ist die Struktur bereits vorgegeben

Daten und Datenteilung

• Neuronale Netze können nur numerische Variablen verarbeiten (sowohl Eingabeattribute als auch Zielvariablen)

• Eine Datennormalisierung ist ratsam, d.h. alle Ein- und Ausgabevariablen sollen einen Wertebereich von [0,1] abdecken

  • Die Sigmoid-Transsferfunktion besitzt einen Ausgabewertebereich von [0,1]

• Kategorische Variablen müssen in numerische Werte kodiert werden;

  • Entweder Verwendung einer numerischen Transformationsvariable mit Mehrwertkdoierung;
  • oder Verwendung mehrerer Variablen mit one-hot Kodierung eines kategorischen Wertes.

• Zunächst werden bereits normalisierte Daten angenommen werden.

• Mittels der ML.split Funktion können Datentabellen randomisiert in zwei Partitionen aufgeteilt werden (Training und Test)

Die MLP Prädiktorfunktion

• Nachfolgend eine beispielhafte Implementierung der Modellfunktion M(x): x → y durch den MLP Algorithmus (MLP: Multilayer Perceptron)

• Der MLP Algorithmus basiert auf einem vereinfachten SMO Trainingsverfahren

  • Referenz: http://cs229.stanford.edu/materials/smo.pdf
  • Das SMO Verfahren basiert auf Matrixalgebra und Fehlerminimierung
  • Ähnlich Regressionsverfahren (hier aber multivariat)

• Die Konfiguration des MLP Netzwerkes erfordert die Angabe der Eingangsneuronen (hier 6), der inenren Schichten (wenn überhaupt), und der Anzahl der Ausgangsneuronen (hier 2)

  • Beispiel: [6,4,4,5,2]

• Der MLP Trainer verwednet getrennte Ein- und Ausgabedaten (x-y)
  • Es findet aber eine automatische Konvertierung der Datentabelle statt
  • Dazu müssen die Spaltenindizes für Ein- und Ausgabevariablen angegeben werden (features und target)

Anders als bei Entscheidungsbäumen können KNN mehrere Zielvariablen ausgeben!

Test

• Der Testfehler ergibt sich zunächst aus der Abweichung der vom ANN ausgegebenen Werte mit den Sollwerten
• Handelt sich um Klassifikation (d.h. ursprünglich kategorische Zielvariablen) muss im zweiten Schritt eine Diskretisierung der Ausgabewerte (vom ANN) stattfinden → y>y_thres?1:0.

• Besser ist die Berechnung der Kreuzentropy im Vergleich von y_i und y0_i (kummulativ für alle Ausgabevariablen y_i)
  • Eine Kreuzentropie von Null ist das Optimum wenn alle inferierten und vorgegebenen Zielvariablenwerte übereinstimmen!

Datennormalisierung

• Der MLP Lerner erwartet getrennte Ein- (x) und Ausgabedaten (y).
• Alle Variablen sollten auf den Bereich [0,1] normiert werden
  • Verschiedene Variablen besitzen aber unterschiedliche ursprüngliche Wertebereiche
  • Daher muss jede Variable separat skaliert werden
  • Für die Skalierung müssen minimale und maximale Werte bekannt sein
  • Die Wertebereiche können automatisch (siehe Beispiel) oder manuell bestimmt werden
  • Die Math.scale0(datacolumn) bestimmt den Skalierungsdeskriptor für [0,1], der für ML benötigt wird
• Mittels der ML.preprocess(data,format,options) Funktion können nun alle Datenvariablen und Instanzen transformiert und sklaiert werden
  • Das Zielformat hat das Kürzel xmy (d.h. zwei x/y Matrizen und liefert {x:number [][], y:number [][]})

Frage. Warum ist die automatische Skalierung der Trainings- und Testdaten evtl. problematisch?

• Skalierte Variablen können mittels der ML.unscale Funktion wieder expandiert werden:

Das EXOR Beispiel

• Das Exklusiv-Oder Problem war in den 60er770er jahren nicht auf KNN übertragbar und ist nicht linear separierbar
• Komplexerer KNN mit inneren Neuronen können das Problem lösen (und autonm. gradientbasiertes Backpropapgation Training)

Daten

Modell

• Variiere die inneren Schicht(en)

Training

• Variiere die Anzahl der Epochen bzw. wiederhole Training mehrmals

Test

• Wiederhole Training und beobachte die Entwicklung des Fehlers
• Wiederhole Modellerzeugung mit unterschiedlichen inneren Schichten und Anzahl von Neuronen pro Schicht (oder ganz ohne)
• Wo ist das Optimum=

Aufgaben

• Laden der Daten und Normalisierung...