| Glossar | |
|---|---|
| Schlüsselwörter | Recurrent Neural Network, RNN |
| Typ | KI-Methode |
Bei einem Recurrent Neural Network handelt es sich um eine künstliches Neurales Netz welches im Bereich des Deep-Learning Anwendung findet.
Recurrent Neural Networks (RNN) können sequentielle Muster in Daten erkennen und diese verwenden um Prognosen zu Szenarien abzugeben. Bei einem RNN erfolgt, anders als bei einem Feed-Forward-Network, die Informationsverarbeitung nicht nur in eine Richtung. Sie können durch Feedback-Verbindungen Informationen speichern, aus Input lernen und diese „Erinnerungen“ auf neue Daten anwenden. Dadurch können sie sequentielle oder zeitlich variierende Muster in Daten erkennen. Es bietet sich an, solche Netzwerke mit gekennzeichneten Daten zu trainieren, anhand derer das Netz später Entscheidungen treffen oder Prognosen abgeben kann.
Long short-term memory (LSTM)
Long short-term memory (LSTM) ist eine Technik, die langfristige Abhängigkeiten in Daten modellieren kann. LSTM-Netze besitzen sogenannte „Memory Cells“, die eine Art Gedächtnis innerhalb der Zelle darstellen und wichtige Informationen über einen längeren Zeitraum speichern. LSTM steuern den Informationsfluss zwischen den einzelnen Zellen der Schichten über drei "Tore" (Vergessen, Eingabe, Ausgabe). Die Tore bestimmen dabei, welche Informationen (neu & Ausgabewerte) in die nächste Eingabe aufgenommen werden bzw. welche Informationen aus der vorherigen Zelle zusätzlich beibehalten oder vergessen werden sollen.
Bidirectional recurrent neural networks (BRNN)
Bidirectional recurrent neural networks (BRNN) können situationsbedingte Abhängigkeiten erkennen, indem sie zukünftige und vergangene Events berücksichtigen. Es verfügt über zwei Schichten (also zwei RNNs), die jeweils in entgegengesetzte Richtungen durch die Sequenz gehen. Dabei verarbeitet das eine RNN die Eingabesequenz von Anfang bis Ende, während das andere RNN die Eingabesequenz von Ende bis Anfang bearbeitet. Die Lösungen beider werden anschließend kombiniert und eine endgültige Ausgabe erzeugt.
Gated recurrent units (GRUs)
Gated Recurrent Units (GRUs) sind ähnlich wie Long Short-Term Memory (LSTM) auch dafür bekannt langfristige Abhängigkeiten in Sequenzen zu lernen. Im Gegensatz zu LSTMs enthalten GRUs dafür nur ein Reset-Gate und ein Update-Gate. Das Reset-Gate entscheidet dabei, welche Informationen aus vergangenen Ausgaben verworfen werden und das Update-Gate entscheidet, welche aus der aktuellen Eingabe übernommen werden.