Das Ensemble Learning ist eine Methode des Machine Learning bei der mehrere Modelle strategisch generiert und kombiniert werden, um eine höhere Vorhersagegenauigkeit zu erreichen.

Statt nur ein Modell zu trainieren, wird ein „Ensemble“ von Modellen trainiert. Anschließend werden die Vorhersagen der einzelnen Modelle zusammengeführt. Das Hauptziel von Ensemble Learning besteht darin, die Stärken verschiedener Modelle zu nutzen und ihre Schwächen auszugleichen, um eine stabilere und präzisere Vorhersage zu erreichen. Es basiert auf der Idee, dass ein voneinander unabhängiges Arbeiten verschiedener Modelle zu einem genaueren Ergebnisse führt, da so unterschiedliche Aspekte der Daten abgedeckt werden.

Bagging

Beim Bagging werden mehrere Modelle parallel trainiert, wobei jedes Modell auf einer zufälligen Stichprobe der Trainingsdaten trainiert wird, die durch das Ziehen von Stichproben mit Zurücklegen erzeugt werden. Die endgültige Vorhersage wird durch Aggregation der Vorhersagen der einzelnen Modelle erreicht, beispielsweise durch Mehrheitsabstimmung bei Klassifikationen oder durch Berechnung des Durchschnitts bei Regressionen. Diese Technik soll dazu beitragen Stabilität, Robustheit und Genauigkeit von Vorhersagemodellen zu verbessern.

Boosting

Bei Boosting wird eine Sequenz von Lernmodellen (auch "Basislerner"/"schwache Lerner" genannt) erstellt, wobei in jeder Sequenz des Basislernens darauf abzielt, die Fehler des vorherigen Basislerners einer Sequenz zu korrigieren. Ziel von Boosting ist eine stärkere Lernleistung zu erreichen, indem die Vorhersagen der sequenziellen Lernmodellen gewichtet kombiniert werden. Dieser Prozess wird solange durchgeführt, bis die Leistung des Modells nicht mehr verbessert werden kann.

• Ensemble Learning. UCL Department of Computer Science (2011)
  Martin Sewell