Prädiktorfunktionen mit Neuronalen Netzen

Allgemeine Hinweise

• Daten können als Elemente der this Variable gespeichert und wieder geladen werden (wie z.B. bereits verarbeitete Daten, Modelle, usw.)

• Wenn in einer Funktion (im Körper) auf das Notebook this zugegriffen werden soll, muss außerhalb der Funktion eine Referenz zu einer lokalen Variable var self=this; hergestellt werden. Z. B.

this.data=[];
var self=this;
function foo( )  {
  self.push([1,2,3,4])
}

Daten

Numerische Daten

DATA: Variable State.dataTI01 Type: {pclass, survived, name, sex, age, sibsp, parch, ticket, fare, cabin, embarked, boat, body, home.dest} []

X: { class,name,sex,age,sibsp,parch,ticket,fare,cabin,embarked,boat,body }
Y: { survival }

"This is a classic dataset used in many data mining tutorials and demos -- 
perfect for getting started with exploratory analysis and building binary 
classification models to predict survival."

Data covers passengers only, not crew.
Features

    survival - Survival (0 = No; 1 = Yes)
    class - Passenger Class (1 = 1st; 2 = 2nd; 3 = 3rd)
    name - Name
    sex - Sex
    age - Age
    sibsp - Number of Siblings/Spouses Aboard
    parch - Number of Parents/Children Aboard
    ticket - Ticket Number
    fare - Passenger Fare
    cabin - Cabin
    embarked - Port of Embarkation (C = Cherbourg; Q = Queenstown; S = Southampton)
    boat - Lifeboat (if survived)
    body - Body number (if did not survive and body was recovered)

Instances: 1309 (one instance per passenger)

Ein einfaches Netzwerk

Vorbermerkung

• In diesem Notebook werden Daten zwischen den einzelnen Snippets durch die Variable this (eine Datenstruktur) ausgetauscht. D.h. wenn z.B. in einem Snippet Daten erzeugt werden dann dort this.data=[1,2,3], und in einem anderen Snippet können diese dann mit this.data wieder abgerufen (und natürlich auch verändert) werden.

Eine KNN-basierte Prädiktorfunktion

Nachfolgend wird gezeigt wie auf einfachen numerischen oder kategorischen Daten eine einfache Prädiktorfunktion algorithmisch durch Tarining erzeugt werden kann.

• Dabei wird das eingebaute Maschinenenlernmodul ML verwendet.
• Das ML Modul kapselt eine Vielzahl von Ml Algorithmen und Modellen

• Es gibt für alle Algorithmen und Verfahren einen gemeinsamen Satz an Operationen:

  • ML.learner: Eine neue Trainingsinatanz erstellen
  • ML.train: Mit Trainingsdaten trainieren
  • ML.predict: Inferenz eines trainiertesnModells
  • ML.test: Inferenz eines trainiertesn Modells mit Testdaten und Ausgabe von Fehlerstatistiken (momentan unvollstänig; daher mit ML.predict arbeiten und eigene Fehleranalyse durchführen)
  • ML.print: Ausgabe der Modellstruktur (wird nicht für alle Algorithmen unterstützt)

• Anders als bei Entscheidungsbaumlernern wird hier zwischen Modellerzeugung und Modellanpassung (Training) unterschieden

  • Beim Entscheidungsbaumlernen ist die Modellanpassung strukturell, hier ist die Struktur bereits vorgegeben

Daten und Datenteilung

• Neuronale Netze können nur numerische Variablen verarbeiten (sowohl Eingabeattribute als auch Zielvariablen)

• Eine Datennormalisierung ist ratsam, d.h. alle Ein- und Ausgabevariablen sollen einen Wertebereich von [0,1] abdecken

  • Die Sigmoid-Transsferfunktion besitzt einen Ausgabewertebereich von [0,1]

• Kategorische Variablen müssen in numerische Werte kodiert werden;

  • Entweder Verwendung einer numerischen Transformationsvariable mit Mehrwertkdoierung;
  • oder Verwendung mehrerer Variablen mit one-hot Kodierung eines kategorischen Wertes.

• Zunächst werden bereits normalisierte Daten angenommen werden.

• Mittels der ML.split Funktion können Datentabellen randomisiert in zwei Partitionen aufgeteilt werden (Training und Test)

Die MLP Prädiktorfunktion

• Nachfolgend eine beispielhafte Implementierung der Modellfunktion M(x): x → y durch den MLP Algorithmus (MLP: Multilayer Perceptron)

• Der MLP Algorithmus basiert auf einem vereinfachten SMO Trainingsverfahren

  • Referenz: http://cs229.stanford.edu/materials/smo.pdf
  • Das SMO Verfahren basiert auf Matrixalgebra und Fehlerminimierung
  • Ähnlich Regressionsverfahren (hier aber multivariat)

• Die Konfiguration des MLP Netzwerkes erfordert die Angabe der Eingangsneuronen (hier 6), der inenren Schichten (wenn überhaupt), und der Anzahl der Ausgangsneuronen (hier 2)

  • Beispiel: [6,4,4,5,2]

• Der MLP Trainer verwednet getrennte Ein- und Ausgabedaten (x-y)
  • Es findet aber eine automatische Konvertierung der Datentabelle statt
  • Dazu müssen die Spaltenindizes für Ein- und Ausgabevariablen angegeben werden (features und target)

Anders als bei Entscheidungsbäumen können KNN mehrere Zielvariablen ausgeben!

Test

• Der Testfehler ergibt sich zunächst aus der Abweichung der vom ANN ausgegebenen Werte mit den Sollwerten
• Handelt sich um Klassifikation (d.h. ursprünglich kategorische Zielvariablen) muss im zweiten Schritt eine Diskretisierung der Ausgabewerte (vom ANN) stattfinden → y>y_thres?1:0.

• Besser ist die Berechnung der Kreuzentropy im Vergleich von y_i und y0_i (kummulativ für alle Ausgabevariablen y_i)
  • Eine Kreuzentropie von Null ist das Optimum wenn alle inferierten und vorgegebenen Zielvariablenwerte übereinstimmen!

Datennormalisierung

• Der MLP Lerner erwartet getrennte Ein- (x) und Ausgabedaten (y).
• Alle Variablen sollten auf den Bereich [0,1] normiert werden
  • Verschiedene Variablen besitzen aber unterschiedliche ursprüngliche Wertebereiche
  • Daher muss jede Variable separat skaliert werden
  • Für die Skalierung müssen minimale und maximale Werte bekannt sein
  • Die Wertebereiche können automatisch (siehe Beispiel) oder manuell bestimmt werden
  • Die Math.scale0(datacolumn) bestimmt den Skalierungsdeskriptor für [0,1], der für ML benötigt wird
• Mittels der ML.preprocess(data,format,options) Funktion können nun alle Datenvariablen und Instanzen transformiert und sklaiert werden
  • Das Zielformat hat das Kürzel xmy (d.h. zwei x/y Matrizen und liefert {x:number [][], y:number [][]})

Frage. Warum ist die automatische Skalierung der Trainings- und Testdaten evtl. problematisch?

• Skalierte Variablen können mittels der ML.unscale Funktion wieder expandiert werden:

Das EXOR Beispiel

• Das Exklusiv-Oder Problem war in den 60er770er jahren nicht auf KNN übertragbar und ist nicht linear separierbar
• Komplexerer KNN mit inneren Neuronen können das Problem lösen (und autonm. gradientbasiertes Backpropapgation Training)

Daten

Modell

• Variiere die inneren Schicht(en)

Training

• Variiere die Anzahl der Epochen bzw. wiederhole Training mehrmals

Test

• Wiederhole Training und beobachte die Entwicklung des Fehlers
• Wiederhole Modellerzeugung mit unterschiedlichen inneren Schichten und Anzahl von Neuronen pro Schicht (oder ganz ohne)
• Wo ist das Optimum=

Aufgaben

• Laden der Daten und Normalisierung...
• Einige kat. Eingabevariablen werden naiv kodiert
• Die Datentabelle ist unvollständig bzw. enthält scheinbar fehlerhafte Werte in einigen Instanzen (daher unten etwas kryptischer Code)