In der Mess- und Prüftechnik
PD Stefan Bosse
Universität Bremen - FB Mathematik und Informatik / AG 0
Universität Siegen - FB Maschinenbau / LMW
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens ::
Zielvariablen: Kategorische Klassifikation, Numerische Prädiktorfunktionen, Gruppierung
Modellfunktionen: Mit welchen Daten- und Programmarchitekturen können Eingabevariablen auf Zielvariablen abgebildet werden?
Training und Algorithmen: Wie können die Modellfunktionen an das Problem angepasst werden?
Überwachtes, nicht überwachtes und Agentenlernen
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Datenverarbeitung
6 Maschinelles Lernen ist ein Werkzeug der Datenanalyse und des Data Minings
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Die Modellfunktion
F(→X):→X→→Y,X={diskrete kategorische Werte Cnumerische Werte N,R,Y=⎧⎪⎨⎪⎩diskrete kategorische Werte Cnumerische Werte N,RGruppen(X), Netzwerke Q
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Die Modellfunktion
100 Kausale vs. Prädiktive Modellbildung und Physikalische Modelle versa algorithmisch bestimmte Modelle (Hypothesen)
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Lernen
Lernen bedeutet die unbekannte Modellfunktion M möglichst genau durch F aus Daten so zu approximieren dass min error(|Y0-Y|) für alle (X,Y0) Paare gilt (Y0: Referenzdaten).
I.a. ist F eine parametrisierbare Funktion f(P) oder eine parametrisierbare Datenstruktur
Es gibt nicht eine Modellfunktion F, sondern eine große Menge möglicher Funktionen, genannt Hypothesen ℍ={F1,F2,..}.
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Lernen
Lernen bedeutet also die bestmögliche Anpassung der Parametersätze P um den Fehler zu minimieren und eine geeignet Hypothesenfunktion zu finden.
H(→X):→X→→Y,H∈H={FP11,FP22,..,FPkk},error(X,Y0,F)=|F(X)−Y0|
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Lernen
Verschiedene Modellfunktionen M die die (Trainings) Daten repräsentieren
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Kreuzvalidierung
13
Durch Kreuzvalidierung (CV) werden ungeeignete Hypothesenmodelle erkannt
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Fehler (Verlust)
Jede Hypothesenfunktion F ∈ ℍ führt zu einem Informationsverlust durch Approximation der tatsächlichen und unbekannten Modellfunktion M.
M(x):x→y=F(x)+E(x)+S
mit E als eine Fehlerfunktion (i.A. zufälliger Fehler) und ^E als mittlerer Prädiktionsfehler und S als systematischer Fehler.
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Fehler (Verlust)
Die Hypothesenmenge ℍ ist also tatsächlich eine Approximation eines unbekannten "exakten" Modells (Modellfunktion) MF, die z.B. mittels physikalischer oder soziologischer Modelle ableitbar wäre.
Genauso wie eine Sensor eine physikalische Größe nur approximieren kann, der tatsächliche Wert der zu messenden Größe ist nicht bekannt
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Fehler (Verlust)
11 Training als Anpassung von Hypothesen für die Abbildungsfunktion X → Y mit Trainingsdaten
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Parametrisierung
Die einzelnen Parameter in dem Parametersatz P lassen sich in zwei Klassen unterteilen:
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Parametrisierung
f(T):T→S=a+bT+cT2+dT3,Ps={degr:3},Pd={a,b,c,d},S=[0,1]f(T):T→S=a+bT+cTd+eTf,Ps={terms:4,lin:2,exp:2},Pd={a,b,c,d,e,f},S=[0,1]
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Parametrisierung
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Daten
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Daten
Es gilt: Dtrain ⊆ Dall, Dtest ⊆ Dall, Dinf ⊆ Dall aber Dtrain ∩ Dtest = ∅ und Dtrain ∩ Dtest ∩ Dinf ≠ ∅ (Idealfall!)
Die großen Probleme beim Modellieren aus Daten:
Die Trainingsdaten sind nicht repräsentativ (Umfang, Varianz, Qualität)
Die Testdaten sind nicht repräsentativ (Umfang, Varianz, Qualität)
Die Trainingsdaten enthalten schwache Variablen die nicht entfernt wurden (Inkonsistenz und geringer Informationsgewinn)
Generalisierung. Das gelernte Modell F bildet alle drei Datenmengen gleichermaßen gut ab!
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Daten
D.h. bei der Anwendung des Modells können somit auch neue Trainingsdaten gewonnen werden, z.B. im Rahmen eines Produktlebenszyklusmanagements!
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Lernverfahren
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Lernverfahren
6 Ablauf Überwachtes Lernen mit Trainings- (Induktion) und Applikationsphasen (Deduktion)
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Taxonomie der Verfahren
Abdul Rahid,www.wordstream.com
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Überwachte Lernverfahren - Unterklassen
4 Zwei wichtige Unterklassen von überwachten Lernen: Regression (Numerische Zielvariablen) und Klassifikation (Kategorische Zielvariablen)
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Dimensionalitätsreduktion
4 Abbildung von hochdimensionale Daten Xn auf niederdimensionale Xm mit m < n
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Unüberwachtes Lernen - Unterklassen
4 Zwei wichtige Unterklassen von nicht überwachten Lernen: Clustering (Gruppenbildung) und Ausreißerdetektion
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Training
Es gibt beim Training eine Fehlerfunktion (Cost or Loss Function). Der Fehler ergibt sich aus der Anwendung der Trainingsdaten auf das bisherigen Modell. Der Fehler dient zur Korrektur der dynamischen Parameter. Der Fehler kann dann aus einzelnen ("on-line") oder einer Gruppe ("batch") von Trainingsdaten berechnet werden.
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Training
Inkrementelle Trainings- und Anpassungsverfahren können alte Datensätze verwerfen → Stromdatenlernen!
Nicht jede Modellimplementierung ist geeignet:
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Fehlerfunktion
SE=E2=(y−y0)2MSEn=∑ni=1(yi−yi,0)2nAE=E1=|y−y0|MAEn=∑ni=1∣∣yi−yi,0∣∣n
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Modellimplementierungen
Es gibt im wesentlichen vier verschiedene Architekturen die Modelle M zu implementieren:
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Modellimplementierungen
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Modellimplementierungen
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Modellimplementierungen
Verschiedene Modellimplementierungen
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Hybride Modelle
M(→X):→X→→Y=Φ({M1(X),M2(X),..,Mn(X)})
Die einzelnen Modellinstanzen arbeiten mit gleichen oder verschiedenen Dateninstanzen
Es gibt eine Split- und eine Join Schicht (Kombinierer, Modellfusion)
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Hybride Modelle
Jay Budzik, www.thetalkingmachines.com
Verschiedene Architekturen für Multiinstanz Lernen und Inferenz
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Instanzklassifikation
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Instanzklassifikation
MLSP: Mehrere Modellfunktion {Fi} werden auf den gleichen (oder Teilmengen) trainiert und Verwendung von randomisierten Algorithmen (u.A. auch Initialisierung von Parametern) wie Monte Carlo Simulation. Am Ende wird das beste Modell ausgewählt.
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Ablauf und Phasen von ML
Statistische Analyse und Bewertung der Daten
Merkmalsselektion
Aufteilung der Daten in Trainings- und Testdaten (i.A. randomisiert) D=Dtrain ∪Dtest
Training einer Modellfunktion F mit bekannten (markierten bei ÜL) Trainingsdaten Dtrain unter Bewertung des Modellfehlers E(X)
Test und Bewertung von F mit bekannten Daten Dtest
Applikation (Inferenz) von F auf unbekannten Daten D
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Ablauf und Phasen von ML
Die Aufteilung der gesamten Dateninstanzen in Trainings- und Testdaten ist so zu wählen dass 1. Die Traininsmenge groß genug (im Sinne der Repräsentanz und Varianz) und 2. Die Testmenge linear unabhängig von der Trainingsmenge ist.
Ein Datensatz D wird randomisiert in die Teilmengen durch exklusive Stichprobennahme verteilt (bis D "leer" ist)
Beim Training der Hypothesenfunktion F wird ebenfalls ein Fehler aus den Terainingsdaten berechnet:
Beim Test werden immer alle Testbeispiele bewertet
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Ablauf und Phasen von ML
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Naturwissenschaftliche Modellinferenz
Neben der kausalen Modellinferenz können auch prädiktive Modellinferenzverfahren - also ML - eingesetzt werden
Spannende Frage: Wie ist die Korrelation von kausal und prädiktiv gewonnenen Modellen?
Kernfrage ist die Erklärbarkeit von algorithmisch erzeugten Modellen mit ML Verfahren, auch in der Mess- und Prüftechnik!
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: ML in den Fertigungs- und Materialwissenschaften
ML ist auch hier ein Werkzeug um analytisch und physikalisch nicht mathematisch modellierbare Zusammenhänge zu approximieren (quasi ein vorläufiger Modellersatz)
Auch hier kann es Probleme grundsätzlicher Art geben:
Inverse ML Modellierung ist von großer Bedeutung (z.B. welche Prozessparameter müssen gewählt werden wenn bestimmte Materialparameter als Ergebnis einer Fertigung gegeben sind)
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Vorwärts- und Rückwärtsmodellierung
Eine Funktion F(X): X → Y bildet i.A. einen hochdimensionalen Eingaberaum n=|X| auf einen niederdimensionalen Ausgabe/Ergebnisraum m=|Y| mit m ≪ n ab
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Vorwärts- und Rückwärtsmodellierung
Bei der Rückwärtsmodellierung möchte man von den System- und Aggregatvariablen auf die Sensordaten schließen: G(Y):Y → X
Die Modellfunktion G kann durch Invertierung des Vorwärtsmodells F gewonnen werden, d.h., G=F-1
Kann F noch durch ein vollständig bestimmtes mathematisches Problem beschrieben werden (d.h. Abbildung X → Y ist eindeutig), so ist die Inversion i.A. ein unterbestimmtes Problem (Mehrdeutigkeit aufgrund der Dimensionalitätserhöhung)
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Wissenschaft versa ML
Naturwissenschaftliche Theorie ist oft hypothesengetrieben, während maschinelles Lernverfahren datengetrieben sind!
Beim maschinellen Lernen beginnt man mit einem Datensatz, um eine Hypothese aufzustellen, während man in den Natur- und Ingenieurwissenschaften oft mit einer Hypothese beginnt.
Beide verwenden (oder eher ML, beide sollten zumindest) eine Auswertung außerhalb der Stichprobe, um Ihre Hypothesen zu testen.
Beim maschinellen Lernen liegt der Fokus im Allgemeinen auf der Vorhersage, ohne zu erklären, warum ein Phänomen Auftritt (Erklärbarkeit und Verfolgbarkeit).
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Wissenschaft versa ML
Beim maschinellen Lernen glaubt man nicht, dass das Modell richtig ist, d.h. es wird nicht angenommen, dass das Modell der datengenerierende Mechanismus ist.
Datengetriebene Modelle werden nur danach ausgewertet, wie gut Sie anhand von Daten Vorhersagen machen, aus denen Sie selber erstellt wurden, und nicht erklären wie sie zu Stande kommen.
Der Fokus des maschinellen Lernens lag traditionell nicht auf kausalen Effekten, obwohl Maschinelles lernen bei kausalen Inferenzproblemen nützlich sein kann.
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Zusammenfassung
Maschinelles Lernen besteht aus:
Modellimplementierungen:
Aufgaben
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Zusammenfassung
Methoden und Verfahren
ML besteht aus mehreren Phasen:
PD Stefan Bosse - Automatische Schadensdiagnostik - Modul C Taxonomie des Maschinellen Lernens :: Zusammenfassung