[JS]
[DE]
[USE] plot
[USE] graph
[PLUGIN] ml.plugin
[PLUGIN] math.plugin
[PLUGIN] popup.plugin
[PLUGIN] R.plugin
[PLUGIN] file.plugin
[PLUGIN] button.plugin
[PLUGIN] help.plugin

[TITLE] Klassifikations- und Regressionsbäume mit Datenanalyse (Teil 1)
[AUTHOR] Stefan Bosse
[VERSION] 6.2024

# Übung 4 - Klassifikations- und Regressionsbäume mit Datenanalyse (Teil 1)

[FUN]
```js
// Plot.create=function (data,options) { console.log(options); drawPlot(0,Plot(data,options))}
new HelpUI({
  welcome:'Enter search pattern (with optional wildcards *)',
  label:'HelpBot',
  callback:function (text) {
    var result = R.help(text)
    return result?result:'Sorry, found nothing helpful.'
  }
})
```

[TOC]

## Vorwort

>! Die Übungen werden mit ein R Dialekt R+ durchgeführt. R+ ist in diese Übung integriert und benötigt keine weitere Software. Ebenso sind die benötigten Daten integriert.

- Die Ausführung der Code Snippets erfolgt durch Druck auf den Play Button durch drücken von CTRL+ENTER im Programmtext.

[R] R Set-up { lines:2; height:5 }
```R
print(paste("R version",R.version))
```

## Literatur

- Lese "Learning R Programming" [Kun Ren,2023](http://edu-9.de/uploads/Lehre/asd3k/tutorials/9781785880629.pdf)
- Lese https://www.geeksforgeeks.org/c5-0-algorithm-of-decision-tree/

## Daten

https://www.kaggle.com/datasets/purushottamnawale/materials

Materials and their Mechanical Properties - Mechanical Properties of Design Materials: A Comprehensive Material Dataset

The original material dataset includes the following mechanical properties of metals:

- Standard (*Std*)
- Unique Identification code for the Material (*ID*)
- Material Name *Material*
- Heat Treatment Method
- Ultimate Tensile Strength (*Su*) in MPa
- Yield Strength (*Sy*) in MPa
- Elongation at Break or Strain (*A5*) as a Percentage
- Brinell Hardness Number (*BHN*) in Microhardness Units
- Elastic Modulus (*E*) in MPa
- Shear Modulus (*G*) in MPa
- Poisson's Ratio (*mu*) in Units of Length
- Density (*Ro*) in Kg/m3
- Pressure at Yield (*pH*) in MPa
- Description of the Material (*Desc*)
- Vickers Hardness Number (*HV*)
    
Es gibt eine zusäztliche Spalte *MaterialClass* die die Einträge in folgende Materialkassen unterteilt:

```
Aluminum, Brass, Copper, Magnesium, Iron, Steel
```

[DATA] dataMat:data/material-data.json

[FUN]
```js
console.log(dataMat);
(function () {
  var names = Object.keys(dataMat),
      nrow  = dataMat[names[0]].length,
      ncol  = names.length,
      rows  = []
  for(var i=0;i<nrow;i++) {
    var row = []
    for(var n in names) row.push(dataMat[names[n]][i])
    rows.push(row)
  }
  R.addValue('data.mat',{
    type : 'data.frame',
    nrow : nrow,
    ncol : ncol,
    colnames : names,
    value : rows
  })
})()
R.addFunction('plot.graph',function (node) {
  node = node.call(this);
  var nodes = [],
      _nodes = [],
      _edges = [],
      edges = []
  function listGet(list,key) {
    if (list.names.indexOf(key)!=-1)
      return list.value[list.names.indexOf(key)]
  }
  function getLabel(node) {
    var label;
    if (listGet(node,'label'))
      label=R.utils.fromValue(listGet(node,'label'));
    else if (listGet(node,'attribute'))
      label=R.utils.fromValue(listGet(node,'attribute'));
    else if (listGet(node,'target'))
      label=R.utils.fromValue(listGet(node,'target'));
    return label  
  }
  var index=1;
  function iter (node) {
    var _index=index,
        label = getLabel(node),
        value = listGet(node,'value')||listGet(node,'split');
    nodes.push('N'+_index+':'+label);
    _nodes.push({id:'N'+index,options:{label:label,shape:listGet(node,'target')?"ellipse":"rect"}})
    if (listGet(node,'left')) {
      var next = listGet(node,'left');
      edges.push({
        from:'N'+_index+':'+label,
        to:'N'+(index+1)+':'+getLabel(next),
        cond:value?('<'+R.utils.fromValue(value)):''
      })
      _edges.push({
        from : 'N'+_index,
        to   : 'N'+(index+1),
        options : { label:value?('<'+R.utils.fromValue(value)):'' }
      })
      index++;
      iter(next)
    }
    if (listGet(node,'right')) {
      var next = listGet(node,'right');
      edges.push({
        from:'N'+_index+':'+label,
        to:'N'+(index+1)+':'+getLabel(next),
        cond:value?('≥'+R.utils.fromValue(value)):''
      })
      _edges.push({
        from : 'N'+_index,
        to   : 'N'+(index+1),
        options : { label:value?('>='+R.utils.fromValue(value)):'' }
      })
      index++;
      iter(next)
    }    
  }
  iter(node)
  // Print(nodes.join('\n'))
  // Print(edges.map((e) => (e.from+'->'+e.to+(e.cond?' ('+e.cond+')':''))).join('\n'))
  
  var g = Graph(),num=String(Math.random()).replace(/0\./,'');
  Print('<svg id="svg'+num+'"></svg>')

for(var i in _nodes) g.setNode(_nodes[i].id,_nodes[i].options);
  for(var i in _edges) g.setEdge(_edges[i].from,_edges[i].to,_edges[i].options);

// Create the renderer
  var render = new dagreD3.render();

// Set up an SVG group so that we can translate the final graph.
  var svg = d3.select("#svg"+num),
      inner = svg.append("g");

// Run the renderer. This is what draws the final graph.
  render(inner, g);

// Center the graph
  svg.attr("width", g.graph().width + 40)
     .attr("height", g.graph().height + 40)

var xCenterOffset = (svg.attr("width") - g.graph().width) / 2;
  inner.attr("transform", "translate(" + xCenterOffset + ", 20)");

})
console.log('R init done.')
```

Der Datensatz ist bereits im Notebook enthalten und wird als Datenrahmen/Datentabelle (data.frame) `data.mat` zur Verfügung gestellt!

>! Alle nachfolgenden Berechnungen sollen über den Punkt "." an den Namen des Datensatzes angehängt werden.

[R] Zusammenfassung der Datensätze  { lines:15; height:10 }
```R
print("============== data.mat ====================")
print(paste("nrow",nrow(data.mat),"ncol",ncol(data.mat)))
print(paste("colnames",colnames(data.mat)))
logg(typeof(data.mat))
```

- Numerische Eingabeattribute (s.o.)
- Kategorische Zielvariable von `data.mat`: `MaterialClass`

## Datenanalyse

Zunächst soll die Datentabelle analysiert werden. Für die statistische Analyse der Daten stehen verschiedene Funktionen zur Verfügung. so z.B.:

1. `fivenum` liefert quantitative erste Informationen über die Werteverteilungen
2. `hist(data,xlim,breaks)` liefert qualitative (visuelle) Informationen über die Werteverteilungen (*breaks* unterteilt die kontinuierliche Datenvariable in Intervalle)

[R] Kategorische und numerische Analyse  { lines:15; height:30 }
```R
use math,plot
options(digits=2)
data=data.mat
logg(table(data$MaterialClass))
data.mat.analysis=cbind(
  E=fivenum(data$E),
  G=fivenum(data$G),
  mu=fivenum(data$mu),
  Ro=fivenum(data$Ro),
  Su=fivenum(data$Su),
  Sy=fivenum(data$Sy)
)
rownames(data.mat.analysis)=names(fivenum([1,2,3]))
logg(data.mat.analysis)
hist(data$E/1000,breaks=20)
```

[QUESTION]
Was fällt bei der Verteilung der kategorischen Variable `MaterialClass` auf? Wähle weitere Eigenschaftsvariablen aus und füge sie in die Analyse ein. Welche Variablen könnten für eine Klassifikation der Materialklasse geeignet erscheinen? Wie sollte idealerweise die *fivenum* Analyse aussehen? Was fällt bei den Histogrammen auf?

[INPUT]

## Datenselektion

Datentabllen lassen sich zeilen- und spaltenweise zerlegen bzw. filtern. Dazu reicht i.A. der Basisoperator `[]` bzw. `[[]]`.

- `[c]` wählt aus der Datentabelle eine Spalte aus (ergibt wieder eine einspaltige Datentabelle). Der Selektor kann numerisch (Spaltenindex) oder der Name der Spalte als Zeichenkette sein, d.h., `c:numeric|character`. 
- `[a:b]` wähle die Spalten *a* bis *b* aus (ergibt wieder eine mehrspaltige Datentabelle).
- `[row,col]` wählt eine Zelle aus.
- `[,column]` wählt eine Spalte aus.
- `[,columns]` reduziert die Datentabelle auf die angegebenen Spalten (eine, Bereich, oder Menge), d.h. `columns:numeric,character,range,vector`.
- `$col` ist ein Spaltenselektor für Datentabelle und gibt einen Vektor zurück!

>! Teilweise wird bei einer Selektion ein Vektor oder ein einspaltiger Datenrahmen mit einem Element zurückgegeben. Um direkt den Elementwert zu erhalten muss dann der `[[]]` Operator verwendet werden!

Die Datenselektoren können auf der linken und rechten Seite einer Zuweisung verwendet werden (schreiben und lesen). Datentabellen (und Matrizen) können mittels der `cbind` und `rbind` Funktionen spalten- oder zeilenweise kombiniert werden.

[R] Beispiele der Selektion von Datentabellen  { lines:15; height:30 }
```R
# Nur ein Beispiel, ersetzen mit Datentabellen
d<-data.frame(x1=c(1,2,3,4,5,6,7,8,9),
              x2=c(4,5,3,6,2,5,7,8,1),
              x3=c(4,0,4,2,1,2,4,2,3),
              y =c("a","b","a","b","b","b","a","a","a"))
print( d[1]      )
print( d[,1:2]   )
print( d["y"]    )
print( d$y       ) # Siehe den Unterschied
print( d[["y"]]         )
print( d[,c("x1","x3")] )
print( cbind(d,d)       )
print( rbind(d,d)       )
d[,1]<-c(9,8,7,6,5,4,3,2,1)
print( d )
summary( d )              
```

[TODO]
Erstelle aus der Datentabelle *data.mat* Teiltabellen jeweils mit *X* (Auswahl, s.o.= und *Y* (`MaterialClass`).

[R] Split der Datentabellen  { lines:15; height:20 }
```R
data.mat.X <- TODO
data.mat.Y <- TODO

```

### Datenpartitionierung

Das Training von Entscheidungsbäumen ist eine Anpassung und Minimierung einer Fehlerfunktion und erfordert eine repräsentative Menge an Dateninstanzen (Samples). So erwartet ein Regressionsbaumlerner (nächste Übung) mindestens 60 Instanzen, die anderen habe i.A. keine untere Grenze.

[QUESTION]
Warum sollte man die Datentabelle in Trainings- und Testdatenpartitionen unterteilen, und was ist bei der Aufteilung zu beachten (Schnittmenge)?

[INPUT]

- Die Anzahl der *unabhängigen* Instanzen ist nicht allein entscheidend, die Varianz und Repräsentanz ist zusätzlich entscheidend.

- Wenn es (genügend) *N* Dateninstanzen gibt sollten i.A. nur ein Teil *N*~train~ für das Training (Anpassung des Modells) verwendet werden, und ein weiterer Teil *N*~test~ zum Testen der Modellqualität verwendet werden.

>! In R kann auf verschiedene Arten eine Datentabelle (Matrix oder Datenrahmen) geteilt werden. Die Teilung muss randomisiert erfolgen, ansonsten gibt es eine verzerrung beim Training und Test.

- Die Basismethode der randomisierten Aufteilung ist mit der Verwendung der `S=sample(x=V,size=N,prob=P))` Funktion möglich.
  + Soll die Aufteilung in zwei Mengen erfolgen, ist *V*=2 (oder *V*=`1:2`) und *P*=`c(p1,p2)` zu wählen, mit *p*~1~+*p*~2~=1.
  + Man erhält einen Vektor der Länge *N* mit den Elementen *v*={1,2} sofern das Attribute `replace=TRUE` gesetzt wird (d.h. ein Wert aus der Menge *V* kann natürlich mehrfach im Ergebnisvektor vorkommen)
  + Diesen Vektor kann man nun auf eine Matrix oder Datenrahmen zur Selektion anwenden, d.h., `D[S==1,]` und `D[S==2,]`

>! Bei sehr großen Tabellen (Millionen von Elementen) ist diese Methode ineffizient, da insgesamt drei Vektoren der Länge gleich der Anzahl der Zeilen der Datentabelle erstellt werden müssen. Es gibt andere Funktion in anderen Packages, die die Aufteilung effizienter lösen (z.B. `sample.split` aus dem `caTools` Package).

[R] Aufteilung von Datensätzen in Trainings- und Testdaten mit sample Funktion { lines:15; height:30 }
```R
# Nur ein Beispiel
use math
data.samples   <- sample(2,nrow(data.mat),prob=c(0.6,0.4),replace=TRUE)
data.mat.train <- data.mat[data.samples==1,]
data.mat.test  <- data.mat[data.samples==2,]
logg(nrow(data.mat.train))
logg(nrow(data.mat.test))
```

[TODO]
Teile den  Datensatz auf. Welche Verteilungen sind bei den Datensätzen sinnvoll? Wähle geeignete Werte (wird später noch iterativ verändert). Analysiere die Verteilung der Zielvariable `MaterialClass`. Was ist zu beachten?

[R] Analyse der Aufteilung der Datensätze in Trainings- und Testdaten  { lines:15; height:30 }
```R
logg(table(data.mat.train$MaterialClass))
logg(table(data.mat.test$MaterialClass))
```

>! Man kann auch direkt die `split` Funktion nutzen um Datentabellen aufzuteilen. Man erhält eine Liste mit den partitionierten Datentabellen.

[R] Aufteilung von Datensätzen in Trainings- und Testdaten mit split Funktion { lines:15; height:10 }
```R
parameter.split = [0.7,0.3]
data.parts = split(sample(data.mat),prob=parameter.split)
data.mat.train = data.parts[[1]]
data.mat.test  = data.parts[[2]]
```

### Fehlerberechnung

Der Inferenzfehler von kategorischen Variablen kann durch einen einfachen binären Vergleich zweier Vektoren *y* und *y*~0~ erfolgen. *y* stammt aus dem Modell, *y*~0~ aus dem Datensatz.

[R] Inferenzfehler einer kategorischen Variable { lines:15; height:30 }
```R
y  = c("a","b","a") # Ergebis von predict
y0 = c("a","a","a") # Aus der Datentabelle
errorPerc <- sum(y!=y0)/length(y)*100
```

Der Inferenzfehler von numerischen Variablen kann mit linearen (MLE) oder quadratischen Differenzfehlern (MSE) sowie RMSE berechnet werden.

[R] Inferenzfehler einer numerischen Variable { lines:15; height:30 }
```R
y  <- c(1.0,1.2,0.7)  # Ergebis von predict
y0 <- c(1.1,1.2,0.75) # Aus der Datentabelle

mle     = sum(abs(y-y0)/y0)/length(y)*100
mlePerc = sum(abs(y-y0))/length(y)*100
mse     = sum((y-y0)**2)/length(y)
rmse    = sqrt(mse)
logg(paste(mle,mlePerc,mse,rmse))
```

[QUESTION]
Was ist der Vorteil von RMSE vs MSE vs. MLE?

[INPUT]

## Entscheidungsbäume

In den folgenden Übungen sollen verschiedene Modelle und Algorithmen auf die Datensätze angewendet werden (siehe auch Vorlesung)- Hier werden Modell 1 und 2 behandelt:

1. **C4.5**
2. **C5.0**
2. ID3
3. ICE
3. Random Forest Trees (RF)
4. Regressionsbaum (RT)

Die Modelle 1-5 können nur mit kategorischen Zielvariablen verwendet werden, Modell 5 nur mit einer kontinuierlichen numerischen Variablen.

Alle Bäume werden sofort aus Daten erstellt, es gibt keine getrennten Schritte Modellerstellung und Modellanpassung.

>! Nur der C5.0 Lerner ist direkt in R als Paket verfügbar.

Die wichtigsten Eigenschaften eine trainierten Modells lassen sich mit `summary(model)` sowie die Baumstruktur textuell mit `plot.tree(model)` oder `print` ausgeben.

### C4.5

- Der C4.5. Lerner benutzt den *Informationsgewinn* einer Spalte / eines Attributes um das beste Attribute auszuwählen.
  + Bei einer kategorischen Variable erhält man einen k-stellige Knoten, d.h. eine abgehende Kante für jeden Symbolwert der in der aktuellen Spalte enthalten ist;
  + Bei einer numerischen Variable erhält man einen binären Knoten und der Teilungspunkt wird iterativ über alle einzigartigen Werte der Spalte ermittelt (unter Verwendung des Informationsgewinnes bei einem bestimmten Teilungspunkt). Der Teilungspunkt mit dem höchsten Informationsgewinn wird ausgewählt.

Ein Modell kann mit `c45(data,formula=y~a+b+c)` erstellt werden. Die Formel als zweites Argument bestimmt die abhängige Zielvariable (hier *y*) in der Datentabelle und die unabhängigien Variablen (Achtung: "+" bedeutet hinzufügen, "-" weglassen). Es gibt keine weiteren Parameter.

[R] C4.5 Entscheidungsbaum aus Daten erstellen. Man ist frei in der Auswahl der Eingabevariable *x*, *y*=`MaterialClass` (immer als letzte Variable) { lines:15; height:30 }
```R
use tree,plot
# Nur ein Beispiel
# x und y ersetzen mit Variablen aus der Tabelle!
samples.var   = ['x1','x2','y']
samples.train = data.mat.train[,samples.var] 
samples.test  = data.mat.test[,samples.var] 
model.c45     = c45(samples.train,formula=y~x1+x2+x3)
logg(summary(model.c45))
```

[TODO]
Wähle zwei Variablen aus der Materialtabelle aus. Ersetze *x* und *y* und traniere (erstelle9 das Modell.

[INPUT]

Eine Vorhersage mit neuen Daten kann mit (der überladenen) Funktion `predict(model,data)` geschehen.

[R] Beispiel Inferenz C4.5 Entscheidungsbaum  { lines:15; height:30 }
```R
# Nur ein Beispiel
sample.index = 10 
sample.x = samples.train[sample.index,]
result   = predict(model.c45,sample.x)
logg(result)
result   = predict(model.c45,samples.test)
error    = sum(result!=samples.test$MaterialClass)/nrow(samples.test*100)
logg(error)
```

Der Baum lässt sich textuell darstellen:

[R] Struktur C4.5 Entscheidungsbaums  { lines:15; height:10 }
```R
# Nur ein Beispiel
plot.tree(model.c45)
```
[QUESTION]
Wieiviele Ebenen hat der Baum? Anmerkung: Die Einrückungstiefe ist ein maß für die Höhe (Anzahl der Ebenen) des Baums.

[INPUT]

[TODO]
Wende den C4.5 Lerner auf den  Datensatz an. Benutze die Trainingsdaten für das Training. Ermittle den Fehler für die Trainings- und Testdaten. Verändere die Formel und lasse jeweils eine Variable weg oder füge weitere hinzu. Wie verändert sich der Inferenzfehler? Welche Variablen sind stark? Wie verhalten sich die Fehler auf Trainings- und Testdaten zueinander?

[R] C4.5 Entscheidungsbaum: Training und Inferenz { lines:20; height:30 }
```R
use math,tree,plot
#data
samples.var = ['E','G','MaterialClass']
samples.train = data.mat.train[,samples.var] 
samples.test = data.mat.test[,samples.var] 
# train
model.c45 <- c45(samples.train,formula=MaterialClass~E+G)
logg(summary(model.c45))
# predict
result.train = predict(model.c45,samples.train)
error.train  = sum(result.train!=samples.train$MaterialClass)/
                   nrow(samples.train)*100
logg(error.train)
result.test = predict(model.c45,samples.test)
error.test  = sum(result.test!=samples.test$MaterialClass)/
                   nrow(samples.test)*100
logg(error.test)
```

[INPUT]

### C5.0

- Zum Vergleich des eher einfachen C4.5 Algorithmus soll dieser mit dem State-of-the-Art Entscheidungsbaumlerner C5.0 verglichen werden.

- Die Programmierschnittstelle ist die gleiche wie beim C4.5 Lerner. Es gibt aber Lernparameter zu setzen:

1. *winnowing* (TRUE/FALSE)
2. *pruning* (TRUE/FALSE)
3. *boosting* (TRUE/FALSE)

- Der Einfluss dieser Parameter soll nachfolgend untersucht werden.

[R] C6.0 Entscheidungsbaum: Training und Inferenz { lines:30; height:30 }
```R
use math,plot,tree
#data
samples.var = ['E','G','MaterialClass']
samples.train = data.mat.train[,samples.var] 
samples.test = data.mat.test[,samples.var] 
# train
model.c50 <- c50(samples.train,formula=MaterialClass~E+G)
logg(summary(model.c50))
plot.tree(model.c50)
# predict
result.train = predict(model.c50,samples.train)
error.train  = sum(result.train!=samples.train$MaterialClass)/
               nrow(samples.train)*100
logg(error.train)
result.test = predict(model.c50,samples.test)
error.test  = sum(result.test!=samples.test$MaterialClass)/
              nrow(samples.test)*100
logg(error.test)
```

[QUESTION]
Untersuche die Ergebnisse für verschiedene Kombinationen der Eingabevariablen (1-3) und jeweils mit verschiedenen Lernparametern. Welche Auswirkung auf die Ergebnisse **und** die Baumgröße (Ebenen und Anzahl der Knoten) sind zu beobachten?

[INPUT]

## Vergleich

[QUESTION]
Welcher Entscheidungsbaumlerner schneidet besser ab, wo gibt es Unterschiede, Vor- und Nachteile bei diesem Datensatz?

[INPUT]

---

[BUTTON] Hilfe { action:post; label:Absenden; style:"color:red" }
```
{
  url:'edu-9.de:28888',
  // url:'localhost:28888',
  form:['Name','Email','Pin','Frage'],
  email:{from:'$Email', to:'sbosse@uni-bremen.de', name:'$Name'},
  subject:'Hilfe Kurs ML $TITLE',
  message:'$Name: $Frage',
  attachments:[{filename:'$FILE.json',content:'$CODE'}],
  pin:1827,
}
```

[BUTTON] Einreichung (Assignment #01-49056 ) { action:post; label:Absenden; style:"color:green" }
```
{
  url:'edu-9.de:28888',
  // url:'localhost:28888',
  form:['Name','Email','Pin','Kommentar'],
  submit: { from:'$Email', to:'sbosse@uni-bremen.de' },
  assignment:'01-49056',
  name : '$Name',
  comment : '$Kommentar',
  attachments:[{filename:'$FILE.json',content:'$CODE'}],
  pin:1827,
}
```

[BUTTON] Prüfen { action:post; label:Laden; style:"color:browm" }
```
{
  url:'edu-9.de:28888',
  // url:'localhost:28888',
  form:['ID','Pin'],
  load: { id:'$ID' },
  pin:[1827,9223],
}
```

[BUTTON] Bewerten (Lehrer) { action:post; label:Absenden; style:"color:blue" }
```
{
  url:'edu-9.de:28888',
  // url:'localhost:28888',
  form:['ID','Marking','Pin','Remarks'],
  submit: { id:'$ID', from:'sbosse@uni-bremen.de', name:'$Name' },
  marks : '$Marking',
  remarks : '$Remarks',
  attachments:[{filename:'$FILE.json',content:'$CODE'}],
  pin:9223,
}
```

---

Übung 4 - Klassifikations- und Regressionsbäume mit Datenanalyse (Teil 1)

Inhalt.

Übung 4 - Klassifikations- und Regressionsbäume mit Datenanalyse (Teil 1)

Vorwort

Literatur

Daten

Datenanalyse

Datenselektion

Datenpartitionierung

Fehlerberechnung

Entscheidungsbäume

C4.5

C5.0

Vergleich

Vorwort

Die Übungen werden mit ein R Dialekt R+ durchgeführt. R+ ist in diese Übung integriert und benötigt keine weitere Software. Ebenso sind die benötigten Daten integriert.

Die Ausführung der Code Snippets erfolgt durch Druck auf den Play Button durch drücken von CTRL+ENTER im Programmtext.

R Set-up

print(paste("R version",R.version))

▸

[]

✗

≡

Literatur

Lese "Learning R Programming" Kun Ren,2023
Lese https://www.geeksforgeeks.org/c5-0-algorithm-of-decision-tree/

Daten

https://www.kaggle.com/datasets/purushottamnawale/materials

Materials and their Mechanical Properties - Mechanical Properties of Design Materials: A Comprehensive Material Dataset

The original material dataset includes the following mechanical properties of metals:

Standard (Std)
Unique Identification code for the Material (ID)
Material Name Material
Heat Treatment Method
Ultimate Tensile Strength (Su) in MPa
Yield Strength (Sy) in MPa
Elongation at Break or Strain (A5) as a Percentage
Brinell Hardness Number (BHN) in Microhardness Units
Elastic Modulus (E) in MPa
Shear Modulus (G) in MPa
Poisson's Ratio (mu) in Units of Length
Density (Ro) in Kg/m3
Pressure at Yield (pH) in MPa
Description of the Material (Desc)
Vickers Hardness Number (HV)

Es gibt eine zusäztliche Spalte MaterialClass die die Einträge in folgende Materialkassen unterteilt:

Aluminum, Brass, Copper, Magnesium, Iron, Steel

DATA: Variable dataMat Type: { Std : string [924], ID : string [924], Material : string [924], Heat treatment : string [924], Su : number [924], Sy : number [924], A5 : (number|string)[924], Bhn : (number|string)[924], E : number [924], G : number [924], mu : number [924], Ro : number [924], pH : (string|number)[924], Desc : string [924], HV : (string|number)[924], MaterialClass : string [924] }

Der Datensatz ist bereits im Notebook enthalten und wird als Datenrahmen/Datentabelle (data.frame) data.mat zur Verfügung gestellt!

Alle nachfolgenden Berechnungen sollen über den Punkt "." an den Namen des Datensatzes angehängt werden.

Zusammenfassung der Datensätze

print("============== data.mat ====================")
print(paste("nrow",nrow(data.mat),"ncol",ncol(data.mat)))
print(paste("colnames",colnames(data.mat)))
logg(typeof(data.mat))

▸

[]

✗

≡

Numerische Eingabeattribute (s.o.)
Kategorische Zielvariable von data.mat: MaterialClass

Datenanalyse

Zunächst soll die Datentabelle analysiert werden. Für die statistische Analyse der Daten stehen verschiedene Funktionen zur Verfügung. so z.B.:

fivenum liefert quantitative erste Informationen über die Werteverteilungen
hist(data,xlim,breaks) liefert qualitative (visuelle) Informationen über die Werteverteilungen (breaks unterteilt die kontinuierliche Datenvariable in Intervalle)

Kategorische und numerische Analyse

use math,plot
options(digits=2)
data=data.mat
logg(table(data$MaterialClass))
data.mat.analysis=cbind(
  E=fivenum(data$E),
  G=fivenum(data$G),
  mu=fivenum(data$mu),
  Ro=fivenum(data$Ro),
  Su=fivenum(data$Su),
  Sy=fivenum(data$Sy)
)
rownames(data.mat.analysis)=names(fivenum([1,2,3]))
logg(data.mat.analysis)
hist(data$E/1000,breaks=20)

▸

[]

✗

≡

Frage. Was fällt bei der Verteilung der kategorischen Variable MaterialClass auf? Wähle weitere Eigenschaftsvariablen aus und füge sie in die Analyse ein. Welche Variablen könnten für eine Klassifikation der Materialklasse geeignet erscheinen? Wie sollte idealerweise die fivenum Analyse aussehen? Was fällt bei den Histogrammen auf?

Datenselektion

Datentabllen lassen sich zeilen- und spaltenweise zerlegen bzw. filtern. Dazu reicht i.A. der Basisoperator [] bzw. [[]].

[c] wählt aus der Datentabelle eine Spalte aus (ergibt wieder eine einspaltige Datentabelle). Der Selektor kann numerisch (Spaltenindex) oder der Name der Spalte als Zeichenkette sein, d.h., c:numeric|character.
[a:b] wähle die Spalten a bis b aus (ergibt wieder eine mehrspaltige Datentabelle).
[row,col] wählt eine Zelle aus.
[,column] wählt eine Spalte aus.
[,columns] reduziert die Datentabelle auf die angegebenen Spalten (eine, Bereich, oder Menge), d.h. columns:numeric,character,range,vector.
$col ist ein Spaltenselektor für Datentabelle und gibt einen Vektor zurück!

Teilweise wird bei einer Selektion ein Vektor oder ein einspaltiger Datenrahmen mit einem Element zurückgegeben. Um direkt den Elementwert zu erhalten muss dann der [[]] Operator verwendet werden!

Die Datenselektoren können auf der linken und rechten Seite einer Zuweisung verwendet werden (schreiben und lesen). Datentabellen (und Matrizen) können mittels der cbind und rbind Funktionen spalten- oder zeilenweise kombiniert werden.

Beispiele der Selektion von Datentabellen

# Nur ein Beispiel, ersetzen mit Datentabellen
d<-data.frame(x1=c(1,2,3,4,5,6,7,8,9),
              x2=c(4,5,3,6,2,5,7,8,1),
              x3=c(4,0,4,2,1,2,4,2,3),
              y =c("a","b","a","b","b","b","a","a","a"))
print( d[1]      )
print( d[,1:2]   )
print( d["y"]    )
print( d$y       ) # Siehe den Unterschied
print( d[["y"]]         )
print( d[,c("x1","x3")] )
print( cbind(d,d)       )
print( rbind(d,d)       )
d[,1]<-c(9,8,7,6,5,4,3,2,1)
print( d )
summary( d )

▸

[]

✗

≡

Aufgabe. Erstelle aus der Datentabelle data.mat Teiltabellen jeweils mit X (Auswahl, s.o.= und Y (MaterialClass).

Split der Datentabellen

data.mat.X <- TODO
data.mat.Y <- TODO

▸

[]

✗

≡

Datenpartitionierung

Frage. Warum sollte man die Datentabelle in Trainings- und Testdatenpartitionen unterteilen, und was ist bei der Aufteilung zu beachten (Schnittmenge)?

Die Anzahl der unabhängigen Instanzen ist nicht allein entscheidend, die Varianz und Repräsentanz ist zusätzlich entscheidend.
Wenn es (genügend) N Dateninstanzen gibt sollten i.A. nur ein Teil N_train für das Training (Anpassung des Modells) verwendet werden, und ein weiterer Teil N_test zum Testen der Modellqualität verwendet werden.

In R kann auf verschiedene Arten eine Datentabelle (Matrix oder Datenrahmen) geteilt werden. Die Teilung muss randomisiert erfolgen, ansonsten gibt es eine verzerrung beim Training und Test.

Die Basismethode der randomisierten Aufteilung ist mit der Verwendung der S=sample(x=V,size=N,prob=P)) Funktion möglich.
- Soll die Aufteilung in zwei Mengen erfolgen, ist V=2 (oder V=1:2) und P=c(p1,p2) zu wählen, mit p₁+p₂=1.
- Man erhält einen Vektor der Länge N mit den Elementen v={1,2} sofern das Attribute replace=TRUE gesetzt wird (d.h. ein Wert aus der Menge V kann natürlich mehrfach im Ergebnisvektor vorkommen)
- Diesen Vektor kann man nun auf eine Matrix oder Datenrahmen zur Selektion anwenden, d.h., D[S==1,] und D[S==2,]

Bei sehr großen Tabellen (Millionen von Elementen) ist diese Methode ineffizient, da insgesamt drei Vektoren der Länge gleich der Anzahl der Zeilen der Datentabelle erstellt werden müssen. Es gibt andere Funktion in anderen Packages, die die Aufteilung effizienter lösen (z.B. sample.split aus dem caTools Package).

Aufteilung von Datensätzen in Trainings- und Testdaten mit sample Funktion

# Nur ein Beispiel
use math
data.samples   <- sample(2,nrow(data.mat),prob=c(0.6,0.4),replace=TRUE)
data.mat.train <- data.mat[data.samples==1,]
data.mat.test  <- data.mat[data.samples==2,]
logg(nrow(data.mat.train))
logg(nrow(data.mat.test))

▸

[]

✗

≡

Aufgabe. Teile den Datensatz auf. Welche Verteilungen sind bei den Datensätzen sinnvoll? Wähle geeignete Werte (wird später noch iterativ verändert). Analysiere die Verteilung der Zielvariable MaterialClass. Was ist zu beachten?

Analyse der Aufteilung der Datensätze in Trainings- und Testdaten

logg(table(data.mat.train$MaterialClass))
logg(table(data.mat.test$MaterialClass))

▸

[]

✗

≡

Man kann auch direkt die split Funktion nutzen um Datentabellen aufzuteilen. Man erhält eine Liste mit den partitionierten Datentabellen.

Aufteilung von Datensätzen in Trainings- und Testdaten mit split Funktion

parameter.split = [0.7,0.3]
data.parts = split(sample(data.mat),prob=parameter.split)
data.mat.train = data.parts[[1]]
data.mat.test  = data.parts[[2]]

▸

[]

✗

≡

Fehlerberechnung

Der Inferenzfehler von kategorischen Variablen kann durch einen einfachen binären Vergleich zweier Vektoren y und y₀ erfolgen. y stammt aus dem Modell, y₀ aus dem Datensatz.

Inferenzfehler einer kategorischen Variable

y  = c("a","b","a") # Ergebis von predict
y0 = c("a","a","a") # Aus der Datentabelle
errorPerc <- sum(y!=y0)/length(y)*100

▸

[]

✗

≡

Der Inferenzfehler von numerischen Variablen kann mit linearen (MLE) oder quadratischen Differenzfehlern (MSE) sowie RMSE berechnet werden.

Inferenzfehler einer numerischen Variable

y  <- c(1.0,1.2,0.7)  # Ergebis von predict
y0 <- c(1.1,1.2,0.75) # Aus der Datentabelle

mle     = sum(abs(y-y0)/y0)/length(y)*100
mlePerc = sum(abs(y-y0))/length(y)*100
mse     = sum((y-y0)**2)/length(y)
rmse    = sqrt(mse)
logg(paste(mle,mlePerc,mse,rmse))

▸

[]

✗

≡

Frage. Was ist der Vorteil von RMSE vs MSE vs. MLE?

Entscheidungsbäume

In den folgenden Übungen sollen verschiedene Modelle und Algorithmen auf die Datensätze angewendet werden (siehe auch Vorlesung)- Hier werden Modell 1 und 2 behandelt:

C4.5
C5.0
ID3
ICE
Random Forest Trees (RF)
Regressionsbaum (RT)

Die Modelle 1-5 können nur mit kategorischen Zielvariablen verwendet werden, Modell 5 nur mit einer kontinuierlichen numerischen Variablen.

Alle Bäume werden sofort aus Daten erstellt, es gibt keine getrennten Schritte Modellerstellung und Modellanpassung.

Nur der C5.0 Lerner ist direkt in R als Paket verfügbar.

Die wichtigsten Eigenschaften eine trainierten Modells lassen sich mit summary(model) sowie die Baumstruktur textuell mit plot.tree(model) oder print ausgeben.

C4.5

Der C4.5. Lerner benutzt den Informationsgewinn einer Spalte / eines Attributes um das beste Attribute auszuwählen.
- Bei einer kategorischen Variable erhält man einen k-stellige Knoten, d.h. eine abgehende Kante für jeden Symbolwert der in der aktuellen Spalte enthalten ist;
- Bei einer numerischen Variable erhält man einen binären Knoten und der Teilungspunkt wird iterativ über alle einzigartigen Werte der Spalte ermittelt (unter Verwendung des Informationsgewinnes bei einem bestimmten Teilungspunkt). Der Teilungspunkt mit dem höchsten Informationsgewinn wird ausgewählt.

Ein Modell kann mit c45(data,formula=y~a+b+c) erstellt werden. Die Formel als zweites Argument bestimmt die abhängige Zielvariable (hier y) in der Datentabelle und die unabhängigien Variablen (Achtung: "+" bedeutet hinzufügen, "-" weglassen). Es gibt keine weiteren Parameter.

C4.5 Entscheidungsbaum aus Daten erstellen. Man ist frei in der Auswahl der Eingabevariable x, y=MaterialClass (immer als letzte Variable)

use tree,plot
# Nur ein Beispiel
# x und y ersetzen mit Variablen aus der Tabelle!
samples.var   = ['x1','x2','y']
samples.train = data.mat.train[,samples.var] 
samples.test  = data.mat.test[,samples.var] 
model.c45     = c45(samples.train,formula=y~x1+x2+x3)
logg(summary(model.c45))

▸

[]

✗

≡

Aufgabe. Wähle zwei Variablen aus der Materialtabelle aus. Ersetze x und y und traniere (erstelle9 das Modell.

Eine Vorhersage mit neuen Daten kann mit (der überladenen) Funktion predict(model,data) geschehen.

Beispiel Inferenz C4.5 Entscheidungsbaum

# Nur ein Beispiel
sample.index = 10 
sample.x = samples.train[sample.index,]
result   = predict(model.c45,sample.x)
logg(result)
result   = predict(model.c45,samples.test)
error    = sum(result!=samples.test$MaterialClass)/nrow(samples.test*100)
logg(error)

▸

[]

✗

≡

Der Baum lässt sich textuell darstellen:

Struktur C4.5 Entscheidungsbaums

# Nur ein Beispiel
plot.tree(model.c45)

▸

[]

✗

≡

Frage. Wieiviele Ebenen hat der Baum? Anmerkung: Die Einrückungstiefe ist ein maß für die Höhe (Anzahl der Ebenen) des Baums.

Aufgabe. Wende den C4.5 Lerner auf den Datensatz an. Benutze die Trainingsdaten für das Training. Ermittle den Fehler für die Trainings- und Testdaten. Verändere die Formel und lasse jeweils eine Variable weg oder füge weitere hinzu. Wie verändert sich der Inferenzfehler? Welche Variablen sind stark? Wie verhalten sich die Fehler auf Trainings- und Testdaten zueinander?

C4.5 Entscheidungsbaum: Training und Inferenz

use math,tree,plot
#data
samples.var = ['E','G','MaterialClass']
samples.train = data.mat.train[,samples.var] 
samples.test = data.mat.test[,samples.var] 
# train
model.c45 <- c45(samples.train,formula=MaterialClass~E+G)
logg(summary(model.c45))
# predict
result.train = predict(model.c45,samples.train)
error.train  = sum(result.train!=samples.train$MaterialClass)/
                   nrow(samples.train)*100
logg(error.train)
result.test = predict(model.c45,samples.test)
error.test  = sum(result.test!=samples.test$MaterialClass)/
                   nrow(samples.test)*100
logg(error.test)

▸

[]

✗

≡

C5.0

Zum Vergleich des eher einfachen C4.5 Algorithmus soll dieser mit dem State-of-the-Art Entscheidungsbaumlerner C5.0 verglichen werden.
Die Programmierschnittstelle ist die gleiche wie beim C4.5 Lerner. Es gibt aber Lernparameter zu setzen:

winnowing (TRUE/FALSE)
pruning (TRUE/FALSE)
boosting (TRUE/FALSE)

Der Einfluss dieser Parameter soll nachfolgend untersucht werden.

C6.0 Entscheidungsbaum: Training und Inferenz

use math,plot,tree
#data
samples.var = ['E','G','MaterialClass']
samples.train = data.mat.train[,samples.var] 
samples.test = data.mat.test[,samples.var] 
# train
model.c50 <- c50(samples.train,formula=MaterialClass~E+G)
logg(summary(model.c50))
plot.tree(model.c50)
# predict
result.train = predict(model.c50,samples.train)
error.train  = sum(result.train!=samples.train$MaterialClass)/
               nrow(samples.train)*100
logg(error.train)
result.test = predict(model.c50,samples.test)
error.test  = sum(result.test!=samples.test$MaterialClass)/
              nrow(samples.test)*100
logg(error.test)

▸

[]

✗

≡

Frage. Untersuche die Ergebnisse für verschiedene Kombinationen der Eingabevariablen (1-3) und jeweils mit verschiedenen Lernparametern. Welche Auswirkung auf die Ergebnisse und die Baumgröße (Ebenen und Anzahl der Knoten) sind zu beobachten?

Vergleich

Frage. Welcher Entscheidungsbaumlerner schneidet besser ab, wo gibt es Unterschiede, Vor- und Nachteile bei diesem Datensatz?

Hilfe

Einreichung (Assignment #01-49056 )

Prüfen

Bewerten (Lehrer)

Created by the NoteBook Compiler Ver. 1.27.2 (c) Dr. Stefan Bosse (Mon Jun 03 2024 18:10:51 GMT+0200 (Central European Summer Time))