Datentabellen

Daten werden häufig in Datentabellen organisiert und gespeichert. Eine Datentabelle besteht aus Zeilen und Spalten.

Dabei unterteilen sich bei ML Problemen häufig die Spalten in Eingabeattribute (X) und Ausgabeattribute (Y).

In R werden Datentabellen i.A. durch einen data.frame Datentyp (Datenrahmen) abgebildet.

Datentabellen sind wie 2-dim Matrizen, und Zeilen und Spalten können über eine numerische Indizierung ausgewählt werden. Die Auswahl einer Spalte oder Zeile liefert einen Vektor, die Auswahl mehrerer Spalten und/oder Zeilen liefert wieder eine Datentabelle.

Aufgabe. Wähle aus obigen Datenrahmen jeweils x und y aus, benutze sowohl den numerischen als auch den namentlichen Selektor. Welchen Datentyp erhält man (nutze die typeof(x) Funktion) jeweils. Wähle dann die Zeilen 2-5 aus. Wende die Summationsfunktion auf die Spalten an.

Zusammenfassend gibt es fünf wichtige Datentypen und Datenformaten, die wie folgt erzeugt werden können (ε: Wert oder Ausdruck)

1. Datenrahmen data.frame(x=ε,y=ε,..), mit x,y, usw. als Spaltennamen;
2. Matrizen matrix(x,nrows,ncols,mode?) wobei x=ε ein konstanter Wert, eine Matrix oder ein vektor sein kann, und mittels mode kann man typisierte Matrizen erzeugen (z.B. float32);
3. Vektoren vector(x,n,mode?) oder c(ε,ε,ε,..) bzw. [ε,ε,ε..]
4. Arrays array(x,[dim1,dim2,..],mode?)
5. Listen list(x=ε,y=ε,..) oder {x=ε,y=ε,..}
6. (cimage)

Häufig ist im Datenmanagement und der Datenanalyse sowie Modellierung eine Umwandlung zwischen diesen Formaten. Dazu gibt es zumeist universelle Umwandlungsfunktionen:

1. as.vector(x,mode?)
2. as.matrix(x,nrow?=N,ncol?=N,mode?)
3. as.data.frame(x)
4. as.list(x)

Feldsnamen können Vektoren und Listen nachträglich mittels der names Funktion hinzugefügt werden, mei Matrizen und Datenrahmen gibt es die colnames und rownames Funktionen:

names(x)={'x','y',..}
colnames(m)={'x','y',..}

Aufgabe. Wandle nachfolgenden Vektor (randomisiert erzeugt) in eine Matrix mit 4 Zeilen und 3 Spalten um, schließlich in einen Datenrahmen mit den Spalten a, b und c. Wie sieht die Elemente des linearen Vektors nun in der Matrix und im Datenrahmen angeordnet?

Analyse eines Beispieldatensatzes

Daten

DATA: Variable dataIRIS Type: { length : number, width : number, petal.length : number, petal.width : number, species : string } [151]

Im folgenden wird ein Datensatz aus der Botanik verwendet:

• Botanischer Standarddatensatz "iris"
• Numerische Eingabevariablen (Vektor X)
• Kategorische Ausgabevariable (Skalar Y)

Der Datensatz ist bereits im Notebook enthalten und wird als Datenrahmen (data.frame) data.iris zur Verfügung gestellt!

Analyse von Datentabellen

Man kann direkt einzelne Spalten evaluieren, z.B. bei numerischen Variablen mittels der Funktionen mean, sum, sd, und table bei kategorischen Variablen. Man kann auch eine Datentabelle als ganzes analysieren. So kann man die sapply Funktion verwenden um eine Funktion auf alle Spalten anzuwenden, und man erhält einen Vektor der Aggregatwert (z.B. mean).

Zerlegung der Tabelle

Die Zielvariable y liegt als kategorische Variable vor. Eine Kodierung in eine numerische kann wie folgt durchgeführt werden:

Frage. Was enthält y.code? Was bewirkt factor (verwende logg/print) und was enthält y.levels?

Analysefunktionen

Die universellste Analysefunktion ist summary, gefolgt von fivenum für numerische und table für kategorische Variablen.

Aufgabe. Analysiere den Datensatz mit 1. summary, 2. Einzelne Spalten mit fivenum und table. Welche Eigenschaften haben die einzelnen Variablen (Attribute)?

Grafische Analyse

Die plot(x,y) Funktion ist universell und kann verschiedene Datenformate darstellen. Am häuigsten wird man sie für Punkt- und Linienverläufe verwenden. Die Breite (oder Höhe) des Plotfensters kann mit dev.new(width=300) gesetzt werden. Das darstellungsformat kann mittels des type='l' Argumentes eingestellt werden(p:Punkt, l: Linie, b: Beides).

Aufgabe. Benutzte die plot(x,y) Funktion um Zusammenhänge zwischen den einzelnen Variablen x₁ bis x₄ und mit der Zielvariablen y.code herzustellen. Findet man Strukturen, können schon geeignete Kandidaten für die Klassifikation gefunden werden?

X-Y Partitionierung

Grafisch konnten bereits Eingabevariablen mit der (numerisch kodierten) Ausgabevariable in einen Zusammenhang gesetzt werden. Analytisch kann man neben dem Informationsgewinn eine einfache Partitionierung der numerischen Eingabevariablen nach der Zielvariable vornehmen. Das ist im nächsten Beispiel gezeigt.

Aufgabe. Analysiere die Partitionen. Lassen sich geeignete Teilungspunkte für wenigstens einer Zweiklassenseparation mit einer der Attribute erreichen?

Principle Component Analysis

Wir haben eine Datentabelle mit vier Eingabe- und einem Ausgabeattribut. Eine wichtige Frage in der Vorverarbeitung ist das Vorhandensein von linearen Abhängigkeiten zwischen Variablen (X). Im Grund auch nicht-lineare Zusammenhänge, diese sind aber ohne Kenntnis des polynomiellen Zusammenhangs nicht einfach nachweisebar.

Die Hauptkomponentenanlayse berechnet mittels linearer Matrixalgebra und Lösung eines Gleichungssystems die Hauptkomponentenvektorn PC (Principle Components) einer Datentabelle.

Es steht uns das Paket pca für die Berechnung der PCA zur Verfügung. Die Funktion prcomp berechnet aus einem Datenrahmen bzw. einer Matrix die PC Vektoren.

Aufgabe. Untersuche die transformierte Datentabelle unter Verwendung der Scatterplot Funktion. Würde schon eine Hauptkomponente reichen um alle drei Klassen gut zu separieren? Welche Komponente ist es, und warum diese?

Aufgabe. Untersuche die transformierte Datentabelle unter Verwendung der Rücktransformation. Wie hoch ist der RMSE unter Verwendung der ersten degree PC Vektoren?