Autoencoder sind Methoden, welche vor allem im Bereich des Deep Learning zum Einsatz kommen.

Der Hauptzweck eines Autoencoders (AE) besteht darin, eine Eingabe in eine komprimierte und aussagekräftige Darstellung zu kodieren und dann diese Darstellung wieder zu dekodieren, um eine rekonstruierte Eingabe zu erhalten, die der ursprünglichen Eingabe möglichst ähnlich ist. Sie werden zur Komprimierung von Daten genutzt, indem sie lediglich die relevantesten Informationen extrahieren und einen dem Input ähnlichen Output bilden. Grundsätzlich besteht ein AE aus einem En- und Decoder. Im Encoder werden die Eingabedaten so transformiert, dass wichtige Merkmale der Daten extrahiert und redundante oder unwichtige Informationen verworfen werden. Als nächstes werden im Decoder, die Daten über „hidden layers“ so genau wie möglich rekonstruiert bzw. ein Output konstruiert, der dem vorherigen Input entspricht.

Variational Autoencoder sind darauf ausgelegt, die zugrunde liegende Wahrscheinlichkeitsverteilung der gegebenen Daten zu erlernen, was sie in die Lage versetzt, neue Daten zu erzeugen, die ähnlich den ursprünglichen Trainingsdaten sind. hat im Gegensatz zu einem gewöhnlichen Autoencoder 3 Vektoren: mean vector, standard deviation vector und sampled latent vector. Der Encoder beinhaltet den mean vector (Mittelwert) und den standard deviation vector (Standardabweichung). Aus beliebige Werte der beiden Vektoren ermittelt er den sampled latent vector und gibt diesen an den Decoder weiter. Der Decoder nimmt dann eine zufällige Stichprobe aus dieser Verteilung und versucht, die Eingabedaten auf der Grundlage dieser Stichprobe zu rekonstruieren.

Denoising Autoencoder (DAE) sind in der Lage, „beschädigte Daten“ zu rekonstruieren. Dementsprechend unterscheiden sie sich in der Art und Weise wie sie trainiert werden. Sie bestehen auch aus den zwei Komponenten des En- und Decoders mit dem Unterschied, dass die Eingabedaten absichtlich beschädigt bzw. manipuliert werden bevor sie in den Autoencoder als Input eingehen. Das Ziel des Denoising Autoencoders ist es dann, die Manipulierung zu "ignorieren" und die ursprünglichen Daten zu rekonstruieren. Dies geschieht über eine sogenannte Identitätsfunktion (identity function).

• Autoencoders (2020)

  Dor Bank, Noam Koenigstein, Raja Giryes

  arXiv DOI:10.48550/ARXIV.2003.05991
• An Introduction to Variational Autoencoders (2019)

  Diederik P. Kingma, Max Welling Foundations and Trends® in Machine Learning 12/4 p307-392

  Now Publishers DOI:10.1561/2200000056
• Denoising Autoencoders
  Srihari, S.