====== Large Language Models ======

**Large Language Models (LLMs) sind Computerprogramme für die Verarbeitung großer Mengen natürlicher Sprache ([[wissen:glossar:sprachverarbeitung|Natura Language Processing = NLP]]) unter Nutzung von Algorithmen.**

Large Language Models sind in der Lage natürliche Sprache nach vorgegebenen Aufgaben zu verarbeiten wie zur Sprachübersetzung, Stimmungsanalyse, zur Beantwortung von Fragen oder auch zum Erzeugen menschenähnliche Texte wie Artikel. Hierzu nutzen sie Deep Learning oder neuronale Netze. Als Teil von KI und maschinellem Lernen gelten LLMs als die nächsten Modelle des maschinellen Lernens und besitzen das Potenzial von Anwendungen, welche bisher als unrealistisch galten und weiter als futuristisch anmuten.

In Unternehmen eingesetzt können sie die Automatisierung von Prozessen erhöhen und ganz allgemein die Effektivität und die Effizienz fördern.

Dabei werden große Mengen von Daten erst trainiert und danach adaptiert. Um Verzerrungen oder negative Effekte zu vermeiden, dürfen LLMs nicht als final betrachtet werden. Sie benötigen eine organisatorische Verantwortung zur Risikobewertung (auch in Bezug auf die großen Datenmengen und deren Schutz) wie auch zur Kuration. In LLMs müssen gesellschaftliche Erfahrungen einfließen und benötigen damit eine ganzheitliche und keine rein technische Sichtweise.

Große Datenmengen benötigen große Rechenleistungen, welche mit hohen Kosten einhergehen. Für die Zukunft wird erwartet, dass daher einzelne große Modelle trainiert werden und dann effizientere kontextspezifische Versionen erstellt werden und zum Einsatz kommen.

Bedeutende Beispiele für LLMs sind GPT-3 (Generative Pre-trained Transformer 3), BERT (Bidirectional Encoder Representations form Transformers) oder T5 (Text-t-Text Transfer transformer).

<WRAP box>

Eine aktuelle populäre KI-Anwendungen, welche mit LLMs arbeitet, ist „ChatGPT" von „OpenAI", oder auch „OpenAI" direkt. Der kritische Blick zur Qualität der Daten und zur Nutzbarkeit für den eigenen Fall bleibt jedoch in der Verantwortung des Nutzers. Weiterführende Informationen finden Sie auch in unserer KI-Methode [[wissen:glossar:nlp|Natural Language Processing]].

</WRAP>


===== Weiterführende Informationen =====

  * [[https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html | Language Models are Few-Shot Learners. Hg. v. Advances in Neural Information Processing Systems]] (2020)\\ **Tom Brown; Benjamin Mann; Nick Ryder; Melanie Subbiah; Jared D Kaplan; Prafulla Dhariwal et al.**
  * [[doi>10.6084/m9.figshare.22220689]]
  * [[https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html | Attention Is All You Need]] (2017)\\ **Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez et al.**