Stefan Bosse - Maschinelles Lernen - Daten und Sensoren -

Daten und Sensoren

Metriken von Daten

Metriken von Aussagen

Sensoren als Datenquellen

Messverfahren und Sensorsysteme

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Daten

Daten

• Daten sind die Grundlage für die Modellbildung und Modelltestung

• Daten können aus einer Vielzahl von Quellen stammen

  • Experiment
  • Simulation
  • Feldstudie
  • Abgeleitet aus anderen Datensätzen:
    MapAndReduce(D): D → D'

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Daten

Daten

• Allgemein kann man Daten und deren Werte unterteilen in:

  • Skalare Werte, wie Temperatur, Alter, usw.
  • Serien von Skalaren Werten, wie Zeitserien
  • Vektorielle Werte wie Bilder
  • Zusammengesetzte Daten, also Datenstrukturen (Records)

• Daten haben daher eine Dimensionalität 𝕏^N, wobei die Wertemenge 𝕏 einer Dimension aus den ganzen ℕ, reelen ℝ, der Zeit 𝕋 oder kategorischen Wertemengen 𝕊 bestehen kann (oder Untermengen davon).

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Datenreduktion

Datenreduktion

• Ziel der Datenanalyse ist die Reduktion von Eingabedaten bezüglich Größe und Dimensionalität:

$$P(X^N): X^N \rightarrow Y^M\\ |Y|<|X|, M<N$$

• Materialwissenschaften und Messtechnik:
  • Häufig metrische Eingabevariablen
  • Häufig metrische oder kategorische Ausgabevariablen (inkl. Boolescher Variablen)

function isRaining(temp,sunrad,moisture) = 
  temp < 0 ? → false
  temp > 40 ? → false
  (sunrad-moisture) > 30? → false
  true

Beispiel aus der Messtechnik mit einer Datenreduktionsfunktion ℝ³ → 𝔹

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Datenreduktion

Datenreduktion

• Sozioalwissenschaften:
  • Häufig kategorische und metrische Eingabevariablen
  • Häufig kategorische Ausgabevariablen (inkl. Boolescher Variablen)

function isStrong(age,weight,length) = 
  age < 10 ? → false
  weight > 200 ? → false
  (weight/length) > 30? → false
  true

Beispiel einer Datenreduktionsfunktion ℝ³ → 𝔹

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Datenreduktion

Datenklassen

Numerische und Metrische Werte

Das sind Werte die abzählbar sind und wo man Relationen (wie kleiner oder größer) sinnvoll definieren kann, also alle reellen und ganzen Zahlen.

• Beispiele: Temperatur, Länge, Dichte, Porengröße, Dehnung, Kraft, Ort, Zeit

Kategorische Werte

Das sind symbolische Werte für die entweder keine (sinnvolle) Ordnungsrelation existiert oder wo sich wenigstens keine Differenzen bilden lassen.

• Beispiele: Staatsangehörigkeit, Farbennamen (rot < gelb???), Schadenstyp, charakteristisches Merkmal (Anomalie?)

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Datenreduktion

Skalierung der numerischen Werte

Intervallskaliert

Für diese Art von Attributen sind nur Unterschiede (Addition oder Subtraktion) sinnvoll. Beispielsweise wird die in °C oder °F gemessene Temperatur intervallskaliert. Wenn es 20 °C an einem Tag und 10 °C am folgenden Tag ist, ist es sinnvoll, über einen Temperaturabfall von 10 °C zu sprechen, aber es ist nicht sinnvoll zu sagen, dass es doppelt so kalt ist wie am Vortag.

Verhältnisskaliert

Hier kann man sowohl Differenzen als auch Verhältnisse zwischen Werten berechnen. Zum Beispiel kann man für das Alter sagen, dass jemand, der 20 Jahre alt ist, doppelt so alt ist wie jemand, der 10 Jahre alt ist.

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Datenreduktion

Ordnungsrelationen

Nominal

Die Attributwerte in der Domäne sind ungeordnet und somit nur Gleichheitsvergleiche sinnvoll. Das heißt, wir können nur überprüfen, ob der Wert des Attributs für zwei bestimmte Instanzen gleich ist oder nicht. Zum Beispiel ist Geschlecht ein nominales Attribut.

Ordinal

Die Attributwerte sind geordnet und somit Gleichheitsvergleiche (ist ein Wert gleich einem anderen?) und relationale Vergleiche (ist ein Wert kleiner oder größer als ein anderer?) sind erlaubt, obwohl es möglicherweise nicht möglich ist, die Differenz zwischen den Werten zu quantifizieren!

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Datenklassen (longitudinal)

Datenklassen (longitudinal)

• Sensor- und Messdatenvariablen (sowohl kategorisch wie auch metrisch) können weiter unterschieden werden in:

Statisch

Die Variable s ist zeitlich nicht veränderlich bzw. ist in einem wesentlichen Zeitintervall t ∈ [t₀, t₁] als stationär (unveränderlich) anzusehen.

Dynamisch

Zeitlich veränderliche Variable s(t) ist zeitabhängig und bildet eine Datenserie (oder Zeitvektor) s(t)={s₀,s₁,..s_t} bei disketer Erfassung, d.h., wir sprechen von longitudinalen Daten.

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Daten

Daten

Datensätze als Matrizen

• Ein Menge von Daten kann in Matrizenform als Matrix D dargestellt werden (Analogie zur Tabellenform) [1]:

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Daten

• Der Vektor X ist die Menge aller Variablen (Sensoren) und die Spalten der Matrix D:

$$\vec{X} = (x_{1},x_{2},..,x_{d})$$

• Jede Zeile x_j ist ein Rekord der Variablenmenge {X_i|i=1,d} mit konkreten Werten und geben als d-stelliges Tupel je nach Anwendung und Zielsetzung einzelne Beispiele, Instanzen, Experimente, Entitäten, Objekte, und Eigenschaftsvektoren wieder:

$$\vec{d}_j = \vec{x}_j = (x_{j,1},x_{j,2},..,x_{j,d})$$

// JavaScript
type row = { x1:number|string, x2:number|string, .., 
             xd:number|string }
type table = row array;

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Eingabe- und Ausgabevariablen

Eingabe- und Ausgabevariablen

• Die Variablenmenge setzt sich aus Ein- und Ausgabevariablen zusammen

• Sensoren sind typischerweise Eingabevariablen x

• Aussagen sind Ausgabevariablen y, also Ergebnisse die sich aus den Eingangsvariablen ableiten lassen können (durch eine Funktion F):

$$\vec{X}_{xy} = (X_{1},X_{2},..,X_{u},Y_{1},Y_{2},..,Y_{v}) \\ \vec{X} = (X_{1},X_{2},..,X_{u}) \\ \vec{Y} = (Y_{1},Y_{2},..,Y_{v}) \\ \vec{d}_j = (x_{j,1},x_{j,2},..,x_{j,u},y_{j,1},y_{j,2},..,y_{j,v}) \\ F(\vec{X}): \vec{X} \rightarrow \vec{Y},$$

mit u+v=d.

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Merkmale und Eigenschaften (Features)

Merkmale und Eigenschaften (Features)

Wir unterscheiden zwei Arten von Merkmalen:

Eingabemerkmale Ft_i

Das sind Merkmale der Eingabedaten x. Das können z.B. statistische Eigenschaften wie der Mittelwert oder Frequenzen eines Zeitsignals sein. Die Merkmale sollen möglichst die Zielmerkmale verstärken, also eine signfikante (wenn auch noch nicht bekannte) Abhängigkeit Ft_o(Ft_i) besitzen

Ziel- und Ausgabemerkamel Ft_o

Das sind die Ergebnisse der Datenanalyse, z.B. die Antwort auf die Frage Schaden Ja/Nein?, oder eine Schadensposition, eine Überlebenswahrscheinlichkeit. Die Eingabemerkmale sind die starken Variablen für die Modellfunktion M, die wir suchen.

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Merkmale und Eigenschaften (Features)

• Die Merkmalsselektion ist also die Vorstufe und Datenvorverarbeitung, selten werd mit Rohdaten direkt gearbeitet

• Es muss eine Merkmalsselektionsfunktion MF geben, die automatisch die Merkmale aus den den Daten ableitet:

$${M}{\left(\vec{{x}}\right)}:\vec{{x}}\to\vec{{y}}\Rightarrow\\ {F}{t}_{{o}}\Leftrightarrow{y}\\ {M}{F}{\left(\vec{{x}}\right)}:\vec{{x}}\to\vec{{{F}{t}}}_{{i}}\\ {M}_{{t}}{\left(\vec{{{F}{t}}}_{{i}}\right)}:\vec{{{F}{t}}}_{{i}}\to\vec{{F}}{t}_{{o}}$$

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Beispiel einer Datenmatrix

Beispiel einer Datenmatrix

• Botanischer Datensatz mit geometrischen (numerischen) Eigenschaften einer Pflanze und kategorischer Klassifikation:

1

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Beispiel einer Datenmatrix

• Messdatensatz

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Beispiel einer Datenmatrix

Attribute

• Die gemessenen Variablen X₁ bis X₄ sind metrische Datenvariablen, die Variable X₅=y ist eine kategorische Variable!

• Die gemessenen Variablen X₁ bis X₄ (also Sensoren) nennt man Attribute, da sie Eigenschaften und beschreibende Variablen der Zielvariablen y sind

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Sensoren

Sensoren

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Sensoren

Sensoren

• Messtechnik

  • Physikalische Größen wie Temperatur, Dehnung, Spannung, Zeit
  • Fusionierte Umfragevariablen (z.B. Ensemblemittelwerte)

• Bei der Messung mit Sensoren unterscheidet man:

  • Einmalige bzw. einzelne Messungen (single shot)
  • Wiederholte Messungen der gleichen physikalischen Größe (Mittelwertbildung..)
  • Serien von Messwerten, vor allem zeitaufgelöste Datenserien:
    D = {d₁,d₂,..,d_n}, wobei i.A. Δt(d_i,d_i+1)=constant

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Sensoren

Sensoren

• Soziotechnische Systeme, Umfragen

  • Umfragevariablen (Antworten auf Fragen) sind Sensoren von einzelnen Menschen
  • Fusionierte Umfragevariablen (z.B. Ensemblemittelwerte) sind Sensoren von Menschengruppen

• Allgemein verfügbare Daten

  • Soziale Netzwerke und soziale Medien
  • Datenbanken von Behörden usw.

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Sensormodell

Sensormodell

• Ein Sensor ist ein Messwandler, auch in der Soziologie (Indikator für eine Eigenschaft die nicht direkt messbar ist)

• Ein Sensor bildet daher eine i.A. physikalische Größe x auf eine andere Größe y ab:

$$S(x): x \rightarrow y,K:correct(x \rightarrow y)$$

• Es gibt i.A. eine Kalibrierungsfunktion ${K}{\left({f},{x},{y}\right)}$

• Beispiele:

  • Druck → Spannung, Strahlung → Strom, usw.
  • Soziale Vernetzung → Numerischer Radiuswert, Wählerstimmen → Politik, d.h., Zuordnung von Zahlen zu Objekten oder Ereignissen nach festgelegten Regeln

Stefan Bosse - Maschinelles Lernen - Daten und Sensoren - Sensordaten

Sensordaten

• Sensoren S sind Datenquellen d von physikalischen, soziologischen oder sonstigen natürlichen nicht direkt erfassbaren Größen x

• Die Datenwerte (numerisch) werden in einem definierbaren Intervall liegen

  • Die Kenntnis des Werteintervalls ist wichtig für spätere Datenverarbeitung, Analyse, und Maschinelles Lernen!
  • Kategorische Werte werden ebenfalls durch eine Menge definiert

$$S(x): x \rightarrow d \\ d \in [a,b] \Rightarrow \{v_0,v_1,..,v_i\}$$

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Sensordaten

Mess- und Sensorische Systeme

Der Ursprung der Daten für Analyse und Maschinelles Lernen!

Ein Sensor kommt selten allein.

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messverfahren

Messverfahren

Man unterscheidet zwei verschiedene Messverfahren:

Passives Messverfahren

Die sensorischen Werte sind Ergebnis einer intrinsischen Eigenschaft (Dichte) oder bereits existierender externer Größen (Temperatur). Der Stimulus der Messung ist das Bauteil, der Mensch, die Umwelt.

Aktive Messverfahren

Es gibt einen aktiven Stimulus dessen Antwortsignal durch den Sensor erfasst wird. Beispiel ist das Ultraschallmessverfahren mit geführten Wellen. Das Sensorsignal ist immer abhängig vom Stimulus. In der Soziologie ist der Stimulus z.B. ein Fragenkatalog in einer Umfrage, die Antworten sind die Sensorvariablen.

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Sensoraggregation

Sensoraggregation

Sensorklassen

Physische Sensoren

Physische Sensoren messen direkt eine Größe mit einem Messinstrument (kann auch die Auswertung einer Frage in einem Fragebogen sein), Smartphone

Virtuelle Sensoren

Verwenden Daten (von physischen und anderen virtuellen Sensoren) um neue sensorische Werte zu berechnen (kein Messinstrument) → Aggregatoren!!

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Sensoraggregation

Sensoraggregation

Schichtenmodell von Sensorischen Systemen

In sensorischen Systemen werden Sensordaten in verschiedenen Ebenen verarbeitet:

• Vertikale Ebenen repräsentieren die sensorischen Domainen und die Sensorklassen;

• Horizontale Ebenen repräsentieren die Datenverarbeitung.

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Sensoraggregation

Sensoraggregation

Vertikale Ebenen

Perzeption

Hier findet die Akquisition der rohen Sensordaten statt. Die Sensoren sind räumlich verteilt und werden lokal vorverarbeitet.

Aggregation

Einzelne Sensordaten werden zeitlich und räumlich zusammengeführt und gesammelt (Sensorfusion)

Applikation

Die gesammelten Daten werden nutzbar gemacht: Weitere Datenverarbeitung, Aufbereitung, Eigenschaftsselektion, Informationsgewinnung, Visualisierung

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Sensoraggregation

Sensoraggregation

Horizontale Ebenen

• Die horizontalen Ebenen durchziehen alle vertikalen Ebenen:
  1. Sicherheit
  2. Datenverarbeitung
  3. Kommunikation
  4. Datenspeicherung
  5. Nachrichtenvermittlung
  6. Management

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Sensoraggregation

Sensoraggregation

Grundlegender Zusammenhang der horizontalen und vertikalen Ebenen in Sensorischen Systemen

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Sensoraggregation

Sensoraggregation

Räumliche Abbildung der vertikalen Ebenen auf Cloud Computing

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Sensoren in den Ebenen

Sensoren in den Ebenen

Erfassung

Vorwiegend physische Sensoren

Aggregation

Virtuelle Sensoren, Datenreduktion (Größe und Dimensionalität)

Applikation

Datenanalyse und Modellbildung, Inferenz von Information, Maschinelles Lernen

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Umfragen und Crowd Sensing

Umfragen und Crowd Sensing

• Menschen sind Sensoren

8

Von klassischen Umfragen zu mobilen Crowd Sensing mit Smartphones

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Messfehler und Vertrauen

• Die Messgrößen können statisch (zeitlich konstant) oder dynamisch (zeitlich veränderlich) sein. Die Wandlung dieser Messgrößen ergeben dann entsprechend Gleich- und Wechselsignale.

• Auch eine prinzipiell zeitlich unveränderliche Messgröße (bezogen auf die Messung in einem vorgegeben Zeitinterval τ) erzeugt kein konstantes Signal. Ursache: Rauschen

• Wiederholt man daher eine Messung N-mal unter gleichen Bedingungen, so wird man eine Reihe von verschiedenen Messwerten {s₁,s₂,...,s_n} erhalten.

• Es gibt systematische und zufällige Fehler bei der Messung, die sich überlagern.

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Messfehler und Vertrauen

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Messfehler und Vertrauen

9

Offset und Präzision bei der Messung einer Variable X

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Messfehler und Vertrauen

Systematische Fehler

• Eine Messgröße X ist meistens durch störende Messgrößen Y,Z,... usw. überlagert:

$$K(X,Y,Z){\text{ }}:{\text{ }}X \times Y \times Z \to S,K(x,y,z) \approx \sum\limits_{n = 0}^m {{a_n}{x^n}}+ \sum\limits_{n = 0}^m {{b_n}{y^n}} + \sum\limits_{n = 0}^m {{c_n}{z^n}}$$

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Messfehler und Vertrauen

Systematische Fehler

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Messfehler und Vertrauen

9

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Messfehler und Vertrauen

Zufällige Fehler - Streuung

• Zufällige Fehler beeinflussen die Genauigkeit einer Messung (Rauschen).

• Rauschen beeinflußt die Berechung von Eingabedaten- und Zieleigenschaften (ML Ausgabe)!

• Wiederholt man eine Messung einer Größe X die durch reine zufälligen Fehler verfälscht wird, so ist die Häufigkeitsverteilung der Messwerte S={s₁,s₂,...,s_n} um einen Mittelwert $\bar S$ durch eine Gaussverteilung gegeben (dabei muss die Anzahl der Messungen N groß sein).

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

9

Häufigkeitsverteilung nach Gauss von Messwerten um einen Mittelwert

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Messfehler und Vertrauen

• Der Mittelwert S repräsentiert die Abschätzung des wahren/wirklichen Wertes Σ der Messgröße X (oder S):

$$\bar S{\text{ = }}\frac{1}{N}{\text{ }}\sum\limits_{i = 1}^N {{s_i}}$$

• Die Standardabweichung ist ein Maß für die Zuverlässigkeit (Präzision) der einzelnen Messwerte einer Messreihe {s₁,s₂,...,s_n}:

$$\sigma {\text{ = }}\sqrt {\frac{1}{{N - 1}}{\text{ }}\sum\limits_{i = 1}^N {({s_i}} - \bar S{)^2}} {\text{ }}$$

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Eine Vergrößerung der Anzahl N der Messungen (unter gleichen Bedingungen!) führt zu einer Verbesserung des Mittelwertes $\bar S$ (Grenzfall N → ∞), nicht aber zu einer wesentlichen Verkleinerung der Standardabweichung σ, da die Genauigkeit nicht steigt!

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Messfehler und Vertrauen

• Der wirkliche Mittelwert Σ ist nicht bekannt (nur im Grenzfall N → ∞ ist $\bar S$=Σ) - Es gibt aber ein Vertrauensintervall mit einer Wahrscheinlichkeit P dass dieser darin enthalten ist:

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Messfehler und Vertrauen

Messfehler und Vertrauen

• Auch in der Soziologie!

Rauschquellen bei einer Messung

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Beispiele: Statistische Analyse

Beispiele: Statistische Analyse

Stefan Bosse - Maschinelles Lernen - Mess- und Sensorische Systeme - Zusammenfassung

Zusammenfassung