Python für Linguisten mittels Natural Language Processing

Weiterbildung

4-Wochen-Kurs

Maschinelle Verarbeitung natürlicher Sprache. Natural Language Processing (NLP) verknüpft Erkenntnisse aus der Linguistik mit neuesten Methoden der Computerwissenschaft und der künstlichen Intelligenz. In diesem Kurs bieten wir einen Überblick über die Potenziale von Künstlicher Intelligenz (KI), einschließlich Tools wie ChatGPT (GPT). Wir möchten den Teilnehmenden eine interaktive und praxisnahe Lernerfahrung ermöglichen und ihre Fähigkeiten in diesem Bereich fördern.

Inhalt

  • Einleitung - Heranführen
  • Textdaten verarbeiten und vorverarbeiten
    • Grundlegende Techniken der Verarbeitung von Textdaten
    • Mit NumPy arbeiten
    • One-Hot-Encodierung und Bag‑of‑Words‑Modell
  • Grundlagen maschinellen Lernens
    • Lineare Regression
    • Eine Gerade in eine Punktewolke legen
    • Die Lage der Geraden bestimmen
    • Die Qualitat eines Modells bestimmen
    • Multivariate Regression
    • Praktische Umsetzung mit Python und Scikit-Learn
    • Logistische Regression
    • Verfahrensweise
    • Gutemase
    • Praktische Umsetzung mit Scikit-Learn
    • Softmax-Regression
    • Verfahrensweise
    • Praktische Umsetzung mit Scikit-Learn
  • Einfache Verfahren zur Vektorisierung von Textdaten
    • One-Hot-Encodierung und Bag‑of‑Words‑Ansatz
    • N-grams
    • TF-IDF-Vektorisierung
    • Umsetzung mit Scikit-Learn
    • Vektorisierung mit dem Count-Vectorizer
    • TF-IDF-Vektorisierung
    • Lemmatisierung
    • Einsatz eines N-gram-Modells
  • Deep Learning-Essentials
    • Neuronen und neuronale Netze
    • Wie neuronale Netze lernen
    • Architektur und Einstellungen eines neuronalen Netzes
    • Anzahl der Neuronen in der ersten aktiven Schicht
    • Anzahl der Neuronen in der Ausgabeschicht
    • Aktivierung der Neuronen der Ausgabeschicht
    • Auswahl einer passenden Verlustfunktion
    • Wahl des Optimierers
    • Aktivierung der Neuronen in der verdeckten Schicht
    • Ein neuronales Netz mit TensorFlow und Keras aufbauen und anlernen
    • Standardisierung der Features
    • Aufbau und Einstellungen eines neuronalen Netzes
    • Anlernen des Modells
    • Steuerung des Anlernprozesses (Early Stopping)
    • Generalisierung und Uberanpassung
    • Regularisierung
    • Dropout
    • Praktische Umsetzung
  • Rekurrente Netze
    • Aufbau und Funktionsweise rekurrenter Netze
    • Long Short Term Memory (LSTM) und Gated Recurrent Units (GRU)
    • Praxis rekurrenter Netze: eine automatische Rechtschreibkorrektur
    • Umsetzung der Encodierung
    • Aufbau und Anlernen des rekurrenten Netzes
    • Mit einem bidirektionalen rekurrenten Layer arbeiten
    • Anlernen neuronaler Netze mit Generatoren
    • Generatoren und Generator-Funktionen in Python
    • Daten batchweise ziehen
    • Neuronale Netze mit Generatoren anlernen
    • Die Rechtschreibkorrektur mit einem Generator anlernen
  • Konvolutionale Netze
    • Funktionsweise konvolutionaler Netze
    • Sequenzdaten mit konvolutionalen Netzen verarbeiten
    • Praxis des Anlernens eines konvolutionalen Netzes mit Textdaten
  • Word Embedding
    • Funktionsweise
    • Aufgabenubergreifende semantische Raume: word2vec- und fastText-Verfahren
    • Mit Word Embedding-Verfahren in der Praxis arbeiten
    • Vorverarbeitung und Implementierung mit Keras
    • Der Heidegger-Algorithmus: ein generatives Modell zur Erzeugung von Texten
    • Aufbau eines generativen Modells
    • Vorbereitung der Daten
    • Aufbau und Anlernen des Netzes
    • Texte erzeugen
    • Synonyme Worter identifizieren
    • Mit vortrainierten Worteinbettungen arbeiten (fastText)
    • fastText-Vektorraume aufbereiten
    • Austausch der Gewichte eines Embedding Layers
    • Den Vektorraum um unbekannte Worter erweitern
  • Komplexe Lernarchitekturen umsetzen
    • Die funktionale API von TensorFlow
    • Ein Modell mit zwei Eingangen aufbauen und anlernen
    • Architektur des Modells
    • Anlernen des Modells
  • Sequence-to-Sequence-Modelle
    • Encoder-Decoder-Modelle mit Teacher Forcing
    • Attention-Mechanismus
    • Encoder-Decoder-Architekturen in der Praxis
    • Ein einfaches Encoder-Decoder-Modell
    • Vorbereitung der Daten
    • Aufbau des Encoder-Decoder-Modells
    • Das Inferenzmodell aufbauen und einsetzen
    • Encoder-Decoder-Modelle mit Attention-Mechanismus
    • Vorbereitung der Daten
    • Zusammenstellung des neuronalen Netzes
    • Anlernen des Modells
    • Aufbau des Inferenzmodells
    • Das Modell fur Ubersetzungen einsetzen
  • Transformers
    • Aufbau und Funktionsweise
    • Self-Attention
    • Die Transformer-Architektur
  • Subwort-Tokenisierung
    • Mit der Hugging Face-Bibliothek arbeiten
    • Hauptklassen der Transformers-Bibliothek
    • Mit der Hugging Face-Pipeline arbeiten
    • Mit der Tokenizer-Klasse arbeiten
    • Mit der Model-Klasse arbeiten
    • Fine Tuning vortrainierter Netze
    • Ein vortrainiertes Modell mit einem nichttrainierten Kopf laden
    • Eine Durchleitung organisieren
    • Teile des Netzes auf nichttrainierbar stellen
    • Das Modell anlernen

Zielgruppe

Linguisten

Voraussetzungen

fortgeschrittene Python-Kenntnisse, Machine-Learning

Förderung

Kompletter Kurs förderfähig
z.B. mit Bildungsgutschein, über Berufsförderungsdienst (BFD) oder bei Kurzarbeit

Nächste Termine

  • Mo, 03.06.2024
  • Mo, 01.07.2024
  • Mo, 05.08.2024
  • Mo, 02.09.2024
  • Mo, 07.10.2024
  • Mo, 04.11.2024

Anfrage

Kursnummer: LS23.235

zu den Suchergebnissen