[JS]
[USE] graph
[PLUGIN] ml.plugin
[PLUGIN] math.plugin
[PLUGIN] popup.plugin
[PLUGIN] button.plugin
[PLUGIN] shellwin.plugin

[DE]

[TITLE] Übung 5 zu Einführung in Maschinelles Lernen
[AUTHOR] PD Stefan Bosse

[FUN]
```js
State.Graph=Graph;
```

[SHELLWIN] { eval:sandbox }

# Datenreduktion mit PCA und DBSCAN

[TOC]

## Allgemeine Hinweise

- Daten können als Elemente der `this` Variable gespeichert und wieder geladen werden (wie z.B. bereits verarbeitete Daten, Modelle, usw.)

- Wenn in einer Funktion (im Körper) auf das Notebook `this` zugegriffen werden soll, muss außerhalb der Funktion eine Referenz zu einer lokalen Variable `var self=this;`  hergestellt werden. Z. B.

```js
this.data=[];
var self=this;
function foo( )  {
  self.push([1,2,3,4])
}
```

## Daten

### Numerische Daten

#### Energy efficiency Data Set

[DATA] State.dataIR01:../data/iris.json

- Standard Iris Datensatz
  + Klassifizierung der Iris Pflanze anhand geometrischer Messwerte
  + Mischung aus linear und nicht linear separierbaren Subräumen

```
X1 length
X2 width
X3 petal_length
X4 petal_width
Y1 species
```

[CODE] ***X***,*Y*=*species* { lines:10; height:10; eval:sandbox}
```js
print(dataIR01[0]);
print(dataIR01.length);
print(Math.statistics.analysis(dataIR01.pluck('species')))
```

## Principle Component Analysis

### Vorbereitung

- Vorlesung Modul G nachlesen

- Mit dem Testdatensatz "Irisklassifikation" vertraut machen

- PCA und DBSCAN werden nur auf numerische Variablen und Daten angewendet

### PCA im ML Modul

- Die PCA Analyse ist in drei Schritte unterteilt:

1. Berechnung der Eigenvektoren aus der Datentabelle (nur ***x***)
2. Berechnung eienr reduzierten Datentabelle ***x'*** unter Verwendung mindestens eines Eigenvektors (Reihenfolge beachten: Absteigend nach Einfluss sortiert)
3. Rekonstruktion der ursprünglichen Datentabelle aus der reduzierten und transformierten Tabelle 
  + Wichtig um einen Repräsentationsfehler bestimmen zu können (relative Abweichung von ***x*** und ***x'***

Nachfolgend wird gezeigt wie numerischen Datentabellen analysiert und reduziert werden können.

- Das eingebaute Maschinenenlernmodul `ML` wird verwendet.
- Das ML Modul kapselt eine Vielzahl von Ml Algorithmen und Modellen sowie bietet Datenvorverarbeitung
- Es gibt für alle Algorithmen und Verfahren einen gemeinsamen Satz an Operationen:
  + `ML.preprocess.`: Transformation von Datentabellen
  + `ML.pca`: PCA Modul

### Datenvorverarbeitung

- Die Eingabedaten (nur ***x*** aud ***D***!) müssen als Matrixtabelle vorliegen und entsprechend formatiert werden (die Rohdaten liegen als Rekordtabelle vor)

[CODE] Formattierung der Eingabedaten{ lines:10; height:10; eval:sandbox}
```js
this.features=['length','width','petal_length','petal_width'];
this.target=['species'];
this.data=ML.preprocess(dataIR01,'m',{
  features:this.features
}).data;
print(this.data[0]);
```

### Eigenvektoren berechnen lassen

- Die Eigenvektoren werden aus den Eingabedaten mit der Funktion `ML.pca.getEigenVectors(data)` berechnet

[CODE] Eigenvektoren mit PCA berechnen { lines:10; height:10; eval:sandbox}
```js
this.eigen=ML.pca.getEigenVectors(this.data)
print(this.eigen);
```

[QUESTION] 
Wie viele Eigenvektoren werden bestimmt, welche Dimensionalität besitzen sie, und wovon hängen diese Parameter ab?

[INPUT]

### Reduzierte Datentabelle

- Der oder die Eigenvektoren spannen einen neuen Datenraum auf:
  + Die Anzahl der verwendeten Eigenvektoren bestimmt die Dimensionalität von ***x'***
 
- Bei der Erzeugung einer reduzierten und transformierten (zentirerten) Datentabelle fängt man mit dem ersten und stärksten Eigenvektor an
  + Dann müssen die nächsten Schritte ausgeführt werden und ggfs. weitere Eigenvektoren hinzugenommen werden

[CODE] Reduzierte Datentabelle berechnen { lines:10; height:10; eval:sandbox}
```js
this.dataAdjusted=ML.pca.computeAdjustedData(this.data,this.eigen[0]);
this.dataZ=Math.Matrix(this.dataAdjusted.adjustedData).transpose().data;
print(this.dataZ[0]);
```

- Achtung: Die reduzierte Datentabelle steckt in dem Attribut *adjustedData* und ist transponiert!!!

- Eine Array Matrix kann ganz einfach transponisert werden in dem aus der Array Matrix ein *Math.Matrix* Objekt erzeugt wird, welches die Matrixtransponierung mit einer Methode unterstützt (Attribut *data* enthält dann wieder die transponierte Array Matrix):

```js
dataT=Math.Matrix(data).transpose().data;
```

[QUESTION] 
Wie verändert sich die reduzierte Datentabelle unter Hinzunahme weiterer Eigenvektoreen? Ausprobieren .. (`ML.pca.computeAdjustedData(this.data, this.eigen[0], this.eigen[1], ..)`)

[INPUT]

### Rekonstruktion der Datentabelle

- Die Datentabelle mit allen ursprünglichen Eingabevariablen kann aus der reduzierten auf folgende Weise approximiert rekonstruiert erfolgen:

[CODE] Rekonstruktion der Datentabelle berechnen { lines:10; height:10; eval:sandbox}
```js
this.dataR=ML.pca.computeOriginalData(
  this.dataAdjusted.formattedAdjustedData,
  this.dataAdjusted.selectedVectors,
  this.dataAdjusted.avgData).formattedOriginalData;
print(this.data[0],this.dataR[0]);
```

[QUESTION] 
Kommt exakt die ursprüngliche Tabelle wieder zustande Wenn alle Eigenvektoren verwendet werden? Ausprobieren ..

[INPUT]

### Fehlerberechnung der reduzierten Datentabelle

- Für jede Eingabevariable muss der mittlerer relative Fehler aus originaler und rekonstruierter Variable berechnet werden.

- Ergänze nachfolgendes Beispiel für alle Variablen des Datensatzes

[CODE] Rekonstruktion der Datentabelle berechnen { lines:10; height:10; eval:sandbox}
```js
var error1=0;
for(var i=0;i<this.data.length;i++) {
  error1 += Math.abs(this.data[i][0]-this.dataR[i][0]);
}
print(error1/this.data.length*100,'%');
```

## Dichtebasiertes Clustering (DBSCAN)

- Neben der PCA kann Clustering verwendet werden um:
  + Die Anzahl der Dateninstanzen zu reduzieren;
  + Um eine Analayse der Dateninstanzen zu erhalten;
  + Um repräsentative Instanzen auszuwählen;
  + Um einen Klassifikator zu erstellen!

- Im ML Modul ist ein dichtebasierter Clusterer *DBSCAN* enthalten
  + Die Implementierung des Basisalgrotihmus DBSCAN erlaubt hier aber derzeit nur zweidimensionale Eingabedaten
  + Daher wird PCA verwendet um die Datentabellen auf zwei Eingabevariablen zu reduzieren!

### Datentransformation

[CODE] Eingabedaten für DBSCAN erzeugen { lines:10; height:10; eval:sandbox}
```js
// Eine DBSCAN Instanz erzeugen
this.dbscan=new ML.DBCLUST.DBSCAN();
this.dataAdjusted2=ML.pca.computeAdjustedData(this.data,this.eigen[0],this.eigen[1]);
this.dataZ2=Math.Matrix(this.dataAdjusted2.adjustedData).transpose().data;
```

### Clustering

- Die Paremter *epsilon* und *minPoints* müssen geeignet gewählt werden

[CODE] Clustergruppen mit DBSCAN berechnen { lines:10; height:10; eval:sandbox}
```js
var eps=0.3, minPoints=10;
this.groups2=this.dbscan.run(this.dataZ2,eps,minPoints);
this.groups2.forEach(function (group) { print(group.length)})
```

- Das Ergbnis ist ein Array aus Dateninstanzgruppen die gefunden wurden (kann auch leer sein)
  + In dem jeweiligen Gruppenarray sind die Indizes der Instanzen aus der ursprünglichen Tabelle enthalten!
  
[QUESTION] 
Versuche eine optimal verteilte Clusterverteilung und maximal große Clusteranzahl zu erreichn in dem die Parameter variiert werden. Bei welchen Parametersätzen gibt es gute Lösungen?

[INPUT]

## Test

- Jetzt sollen die Cluster bezüglich der Zielvariable untersucht werden

- Es wird Instanzen geben die in keiner der Gruppen sich befinden (je nach Paramterwahl); nachfolgend das Ergebnis *undefined*

[CODE] Analyse der Clustergruppen { lines:10; height:10; eval:sandbox}
```js
var self=this,
    y0=dataIR01.pluck('species'),y1=[];
this.groups2.forEach(function (group,groupindex) {
  group.forEach(function (instance) {
    y1[instance]=groupindex;
  });
});
Table(y0.merge(y1,'c'))
```

[QUESTION] 
Bestimme die Häufigkeitsverteilungen der Zielvariablewerte in den jeweiligen Clustern. Versuche dem Clusterindex ein Zielvariablenwert zuzuordnen. Ist dieser Clusterer ein (guter) Klassifikator? Und wenn ja, was lässt aus dem Zusammenhang von ***x*** mit *y* folgern?

[INPUT]

[BUTTON] Hilfe { action:post; label:Absenden; style:"color:red" }
```
{
  url:'edu-9.de:28888',
  // url:'localhost:28888',
  form:['Name','Email','Pin','Frage'],
  email:{from:'$Email', to:'sbosse@uni-bremen.de', name:'$Name'},
  subject:'Hilfe Kurs ML $TITLE',
  message:'$Name: $Frage',
  attachments:[{filename:'$FILE.json',content:'$CODE'}],
  pin:1827,
}
```

[BUTTON] Prüfen { action:post; label:Laden; style:"color:browm" }
```
{
  url:'edu-9.de:28888',
  // url:'localhost:28888',
  form:['ID','Pin'],
  load: { id:'$ID' },
  pin:[1827,9223],
}
```

[BUTTON] Bewerten (Lehrer) { action:post; label:Absenden; style:"color:blue" }
```
{
  url:'edu-9.de:28888',
  // url:'localhost:28888',
  form:['ID','Marking','Pin','Remarks'],
  submit: { id:'$ID', from:'sbosse@uni-bremen.de', name:'$Name' },
  marks : '$Marking',
  remarks : '$Remarks',
  attachments:[{filename:'$FILE.json',content:'$CODE'}],
  pin:9223,
}
```

---

Datenreduktion mit PCA und DBSCAN

Inhalt.

Datenreduktion mit PCA und DBSCAN

Allgemeine Hinweise

Daten

Numerische Daten

Energy efficiency Data Set

Principle Component Analysis

Vorbereitung

PCA im ML Modul

Datenvorverarbeitung

Eigenvektoren berechnen lassen

Reduzierte Datentabelle

Rekonstruktion der Datentabelle

Fehlerberechnung der reduzierten Datentabelle

Dichtebasiertes Clustering (DBSCAN)

Datentransformation

Clustering

Test

Allgemeine Hinweise

Daten können als Elemente der this Variable gespeichert und wieder geladen werden (wie z.B. bereits verarbeitete Daten, Modelle, usw.)
Wenn in einer Funktion (im Körper) auf das Notebook this zugegriffen werden soll, muss außerhalb der Funktion eine Referenz zu einer lokalen Variable var self=this; hergestellt werden. Z. B.

this.data=[];
var self=this;
function foo( )  {
  self.push([1,2,3,4])
}

Daten

Numerische Daten

Energy efficiency Data Set

DATA: Variable State.dataIR01 Type: { length : number, width : number, petal_length : number, petal_width : number, species : string } [151]

Standard Iris Datensatz
- Klassifizierung der Iris Pflanze anhand geometrischer Messwerte
- Mischung aus linear und nicht linear separierbaren Subräumen

X1 length
X2 width
X3 petal_length
X4 petal_width
Y1 species

X,Y=species

print(dataIR01[0]);
print(dataIR01.length);
print(Math.statistics.analysis(dataIR01.pluck('species')))

▸

✗

≡

Principle Component Analysis

Vorbereitung

Vorlesung Modul G nachlesen
Mit dem Testdatensatz "Irisklassifikation" vertraut machen
PCA und DBSCAN werden nur auf numerische Variablen und Daten angewendet

PCA im ML Modul

Die PCA Analyse ist in drei Schritte unterteilt:

Berechnung der Eigenvektoren aus der Datentabelle (nur x)
Berechnung eienr reduzierten Datentabelle x' unter Verwendung mindestens eines Eigenvektors (Reihenfolge beachten: Absteigend nach Einfluss sortiert)
Rekonstruktion der ursprünglichen Datentabelle aus der reduzierten und transformierten Tabelle
- Wichtig um einen Repräsentationsfehler bestimmen zu können (relative Abweichung von x und x'

Nachfolgend wird gezeigt wie numerischen Datentabellen analysiert und reduziert werden können.

Das eingebaute Maschinenenlernmodul ML wird verwendet.
Das ML Modul kapselt eine Vielzahl von Ml Algorithmen und Modellen sowie bietet Datenvorverarbeitung
Es gibt für alle Algorithmen und Verfahren einen gemeinsamen Satz an Operationen:
- ML.preprocess.: Transformation von Datentabellen
- ML.pca: PCA Modul

Datenvorverarbeitung

Die Eingabedaten (nur x aud D!) müssen als Matrixtabelle vorliegen und entsprechend formatiert werden (die Rohdaten liegen als Rekordtabelle vor)

Formattierung der Eingabedaten

this.features=['length','width','petal_length','petal_width'];
this.target=['species'];
this.data=ML.preprocess(dataIR01,'m',{
  features:this.features
}).data;
print(this.data[0]);

▸

✗

≡

Eigenvektoren berechnen lassen

Die Eigenvektoren werden aus den Eingabedaten mit der Funktion ML.pca.getEigenVectors(data) berechnet

Eigenvektoren mit PCA berechnen

this.eigen=ML.pca.getEigenVectors(this.data)
print(this.eigen);

▸

✗

≡

Frage. Wie viele Eigenvektoren werden bestimmt, welche Dimensionalität besitzen sie, und wovon hängen diese Parameter ab?

Reduzierte Datentabelle

Der oder die Eigenvektoren spannen einen neuen Datenraum auf:
- Die Anzahl der verwendeten Eigenvektoren bestimmt die Dimensionalität von x'
Bei der Erzeugung einer reduzierten und transformierten (zentirerten) Datentabelle fängt man mit dem ersten und stärksten Eigenvektor an
- Dann müssen die nächsten Schritte ausgeführt werden und ggfs. weitere Eigenvektoren hinzugenommen werden

Reduzierte Datentabelle berechnen

this.dataAdjusted=ML.pca.computeAdjustedData(this.data,this.eigen[0]);
this.dataZ=Math.Matrix(this.dataAdjusted.adjustedData).transpose().data;
print(this.dataZ[0]);

▸

✗

≡

Achtung: Die reduzierte Datentabelle steckt in dem Attribut adjustedData und ist transponiert!!!
Eine Array Matrix kann ganz einfach transponisert werden in dem aus der Array Matrix ein Math.Matrix Objekt erzeugt wird, welches die Matrixtransponierung mit einer Methode unterstützt (Attribut data enthält dann wieder die transponierte Array Matrix):

dataT=Math.Matrix(data).transpose().data;

Frage. Wie verändert sich die reduzierte Datentabelle unter Hinzunahme weiterer Eigenvektoreen? Ausprobieren .. (ML.pca.computeAdjustedData(this.data, this.eigen[0], this.eigen[1], ..))

Rekonstruktion der Datentabelle

Die Datentabelle mit allen ursprünglichen Eingabevariablen kann aus der reduzierten auf folgende Weise approximiert rekonstruiert erfolgen:

Rekonstruktion der Datentabelle berechnen

this.dataR=ML.pca.computeOriginalData(
  this.dataAdjusted.formattedAdjustedData,
  this.dataAdjusted.selectedVectors,
  this.dataAdjusted.avgData).formattedOriginalData;
print(this.data[0],this.dataR[0]);

▸

✗

≡

Frage. Kommt exakt die ursprüngliche Tabelle wieder zustande Wenn alle Eigenvektoren verwendet werden? Ausprobieren ..

Fehlerberechnung der reduzierten Datentabelle

Für jede Eingabevariable muss der mittlerer relative Fehler aus originaler und rekonstruierter Variable berechnet werden.
Ergänze nachfolgendes Beispiel für alle Variablen des Datensatzes

Rekonstruktion der Datentabelle berechnen

var error1=0;
for(var i=0;i<this.data.length;i++) {
  error1 += Math.abs(this.data[i][0]-this.dataR[i][0]);
}
print(error1/this.data.length*100,'%');

▸

✗

≡

Dichtebasiertes Clustering (DBSCAN)

Neben der PCA kann Clustering verwendet werden um:
- Die Anzahl der Dateninstanzen zu reduzieren;
- Um eine Analayse der Dateninstanzen zu erhalten;
- Um repräsentative Instanzen auszuwählen;
- Um einen Klassifikator zu erstellen!
Im ML Modul ist ein dichtebasierter Clusterer DBSCAN enthalten
- Die Implementierung des Basisalgrotihmus DBSCAN erlaubt hier aber derzeit nur zweidimensionale Eingabedaten
- Daher wird PCA verwendet um die Datentabellen auf zwei Eingabevariablen zu reduzieren!

Datentransformation

Eingabedaten für DBSCAN erzeugen

// Eine DBSCAN Instanz erzeugen
this.dbscan=new ML.DBCLUST.DBSCAN();
this.dataAdjusted2=ML.pca.computeAdjustedData(this.data,this.eigen[0],this.eigen[1]);
this.dataZ2=Math.Matrix(this.dataAdjusted2.adjustedData).transpose().data;

▸

✗

≡

Clustering

Die Paremter epsilon und minPoints müssen geeignet gewählt werden

Clustergruppen mit DBSCAN berechnen

var eps=0.3, minPoints=10;
this.groups2=this.dbscan.run(this.dataZ2,eps,minPoints);
this.groups2.forEach(function (group) { print(group.length)})

▸

✗

≡

Das Ergbnis ist ein Array aus Dateninstanzgruppen die gefunden wurden (kann auch leer sein)
- In dem jeweiligen Gruppenarray sind die Indizes der Instanzen aus der ursprünglichen Tabelle enthalten!

Frage. Versuche eine optimal verteilte Clusterverteilung und maximal große Clusteranzahl zu erreichn in dem die Parameter variiert werden. Bei welchen Parametersätzen gibt es gute Lösungen?

Test

Jetzt sollen die Cluster bezüglich der Zielvariable untersucht werden
Es wird Instanzen geben die in keiner der Gruppen sich befinden (je nach Paramterwahl); nachfolgend das Ergebnis undefined

Analyse der Clustergruppen

var self=this,
    y0=dataIR01.pluck('species'),y1=[];
this.groups2.forEach(function (group,groupindex) {
  group.forEach(function (instance) {
    y1[instance]=groupindex;
  });
});
Table(y0.merge(y1,'c'))

▸

✗

≡

Frage. Bestimme die Häufigkeitsverteilungen der Zielvariablewerte in den jeweiligen Clustern. Versuche dem Clusterindex ein Zielvariablenwert zuzuordnen. Ist dieser Clusterer ein (guter) Klassifikator? Und wenn ja, was lässt aus dem Zusammenhang von x mit y folgern?

Hilfe

Prüfen

Bewerten (Lehrer)

Created by the NoteBook Compiler Ver. 1.8.13 (c) Dr. Stefan Bosse (Wed Feb 03 2021 19:35:59 GMT+0100 (CET))