Ausbildung zum Deep Learning Engineer

• Der Lehrgang bietet einen optimalen Mix aus Theorie und Praxis. Durch das erlernte Wissen mit Keras sind Teilnehmende anschließend in der Lage, selbstständig Deep Learning-Anwendungen zu trainieren. 
• Teilnehmenden wird aufgezeigt, wie sie potenzielle Anwendungsfälle Im Unternehmenskontext detektieren und als Projekte initiieren. 
• Jeder Teilnehmende erhält eine eigens eingerichtete state of the art NVIDIA GPU in der Cloud und lernt so unmittelbar, was beim Trainieren auf einer GPU beachten werden muss. Zwischen allen Modulen sind 100h an GPU Übungszeit inklusive. 
• Die Referenten stehen den Teilnehmern auch zwischen den Modulen bei konkreten Fragestellungen zur Verfügung (Q&A Sessions). 
• Die Teilnehmenden lernen von Top-Referenten aus Wirtschaft und Forschung mit langjähriger Berufserfahrung im Bereich KI und Data Analytics.

• Der berufsbegleitende Zertifikatslehrgang setzt sich aus vier Modulen (8 Schulungstagen) zusammen und wird durch Selbstlernphasen (ca. 4-6h) ergänzt, bei denen die Teilnehmenden mit praktischen Übungen zwischen jedem Modul arbeiten. 
• Die Teilnehmenden lernen modulübergreifend häufig verwendete Neuronale Netzwerkstrukturen in der Theorie kennen (u.a. Multi Layer Perceptron (MLP), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Long Short Term Memory (LSTM), Gated Recurrent Unit (GRU)) und setzen diese hands-on mit Keras (Tensorflow) in Python auf einer eigenen state of the art GPU (Graphics Processing Unit) in der Cloud um. 
• In verschiedenen Anwendungsszenarien (z.B. Objektdetektion mit Bounding Boxes, Semantische Segmentierung, Bild-Klassifizierung, Text Sentiment Analysis, Predictive Maintenance) mit verschiedenen Datensätzen werden Teilnehmende unterschiedliche Neuronale Netze umsetzen, trainieren und deren Leistungsfähigkeit kennenlernen. Dabei werden typische Fragestellungen und praktische Handlungsempfehlungen diskutiert (u.a. Regularisierung während des Trainings, Dropout, Keras Callbacks, Data Augmentation, Fine Tuning).
• Im Deployment lernen die Teilnehmenden schließlich, wie Sie Ihre Ergebnisse Kollegen aus IT-fernen Fachbereichen mittels einer Web App zur Verfügung stellen können. Das ist ein unmittelbarer Mehrwert des Lehrgangs, denn der Wissenstransfer ins eigene Unternehmen und unternehmensbezogene Prozesse und Projekte sind ein zentraler Schwerpunkt.
• Zwischen den Modulen werden Aufgaben zur Bearbeitung gestellt. Hierbei können die Teilnehmenden das Erlernte direkt vertiefen und selbstständig auch auf ihre eigenen Fragestellungen übertragen. Zur Unterstützung besteht zwischen jedem Modul die Möglichkeit, in einer 90-minütigen Q&A Session offene Fragen mit den Dozenten zu diskutieren. Dabei besteht über den gesamten Lehrgang hinweg auch die Möglichkeit, direkt mit den Dozenten im Austausch zu stehen.

• Deep Learning: Einführung, Grundlagen & Vertiefung (Essentials von Deep Learning und Keras, Datenaufbereitung, Architekturen (MLP, CNN), Training von Netzwerken) 
• Deep Learning mit Bilddaten (Klassifizierung, Object Detection, Semantische Segmentierung, Training bei wenigen Daten, Unsicherheitsbestimmung, Semi-Supervised Learning)
• Deep Learning mit Sequenzdaten: Text und Zeitreihen (Vorbereitung der Daten und bekannte Architekturen (RNN; LSTM). Grundlagen vom Natural Language Processing (NLP))
• Deployment und Strategien zur Anwendung im Unternehmenskontext (Web Applikation streamlit zum Deployment, exemplarische Anwendungen im Deep Learning, Handlungsempfehlung für den unmittelbaren Einsatz im Unternehmen)

Der berufsbegleitende Zertifikatslehrgang zum Deep Learning Engineer richtet sich an Teilnehmende, welche einen kompakten und praxisorientierten Einstieg in die konkrete Anwendung von Deep Learning Algorithmen erhalten möchten. Zur Zielgruppe gehören u.a. Data Scientists, Data Engineers, Data Analysts, Business Intelligence Analysts, angehende Machine Learning (ML) Engineers, DL/ML Entwicklungsingenieure, Medizintechniker, Informatiker, Softwareentwickler im autonomen Fahren, Applied DL/ML Engineer, (Perception/DL) Research Engineers. Teilnehmende sind nach dem Lehrgang in der Lage, eigenständig Deep Learning Algorithmen auf Projekte und Business Cases zu übertragen. 

Voraussetzung für die Teilnahme: Bitte beachten Sie, dass dieser Lehrgang kein Anfängerkurs ist. Es steht das konkrete Programmieren und Umsetzen von Deep Learning Anwendungen im Vordergrund. Hierbei werden, wenn notwendig, auch (mathematische) Grundlagen erklärt. Für den Lehrgang benötigen Teilnehmende erste Erfahrung in Python bzw. die Beherrschung einer anderen Programmiersprache. Notwendig sind neben den Programmierkenntnissen grundlegende Vorkenntnisse im Bereich der Statistik, Begriffsdefinitionen wie bspw. Mittelwert, Median, Standardabweichung, Normalverteilung) und Kenntnisse grundlegender mathematischer Symbole und Begriffe (Summenzeichen, Integral, Funktion, Ableitung, Menge der natürlichen und reellen Zahlen, Vektor, Matrix). Das Grundverständnis von Matrizen und Vektoren und deren Berechnung wird bei einigen Kapiteln vorausgesetzt.

Voraussetzung für den Erhalt des Zertifikats ist die Bearbeitung unterschiedlicher Aufgaben zwischen den Modulen 3 und 4. Die Aufgaben werden im Rahmen von Q&A Sessions ausführlich ausgewertet und diskutiert.

Modul 1
Deep Learning: Einführung, Grundlagen & Vertiefung – Essentials von Deep Learning und Keras: Datenaufbereitung, Architekturen (MLP, CNN), Training eines Netzwerks

In Modul 1 werden die Grundlagen von Deep Learning und dem Framework Keras erläutert. Grundlagen der Datenaufbereitung werden vertieft, bevor das Multi-Layer-Perceptron (MLP) Schritt für Schritt erklärt wird, um eine Basis für alle späteren Netzwerkarchitekturen zu haben. In diesem Zusammenhang werden wichtige Grundbegriffe erklärt und in Übungsaufgaben die Umsetzung gefestigt. Die Inhalte umfassen die Struktur eines MLP, die Schritte beim Trainieren eines Neuronalen Netzes und das für Bilddaten wichtige Convolutional Neural Network (CNN) mit einer Faltungsschicht (Convolutional Layer). Überdies wird die Klassifikation von Bildern mit einem CNN umgesetzt und die Überwachung des Trainings und Speichern von Zwischenergebnissen mit Keras Callbacks und Mlflow besprochen. 

Tag 1

• Intro Machine Learning und Künstlicher Intelligenz
  • Entstehung und Kontext von Deep Learning
  • Machine Learning, Künstliche Intelligenz und Deep Learning als Königsdisziplin
  • Anwendungsbeispiele von Deep Learning Algorithmen
     
• Data Preprocessing
  • Overfitting im Machine Learning
  • Train-Validation-Test Split
  • Normalisierung von Daten
  • Dummy Enkodierung / One-Hot encoding
     
• Multi-Layer-Perceptron (MLP)
  • Perceptron, Gewichte, Bias
  • Aktivierungsfunktionen (Non-linearities)
  • Softmax für Fragestellungen mit Klassifizierung
     
• Training eines Netzwerks
  • Loss-Funktionen
  • Gewichts-Initialisierung
  • Update von Gewichten (Backpropagation)
  • Epoche und Batch-Size

Tag 2

• Convolutional Neural Network (CNN)
  • Eine Faltung (Convolution)
  • Filter im convolutional layer
  • Stride und Padding
  • Bias im CNN
  • Max-Pooling
  • Was sieht ein CNN auf den unterschiedlichen Ebenen?
     
• Callbacks mit Keras
  • Callbacks in Keras umsetzen
  • Speichern von Modelgewichten
  • Early Stopping zur frühzeitigen Beendigung des Trainings
  • MLflow zur Verwaltung von Experimenten und Beobachtung des Trainings
  • Vorstellung bekannter Netzwerkarchitekturen
     
• Image classification
  • Softmax-Layer
  • Cross-Entropy Loss
  • Data-Generator in Keras
  • AlexNet und VGG-16 (CNN-Architekturen)
  • Drop-Out und L2 Regularisierung
  • Laden eines fertig trainierten Models

Modul 2
Deep Learning mit Bilddaten – Klassifizierung, Object Detection, Semantische Segmentierung, Training bei wenigen Daten, Unsicherheitsbestimmung, Semi-Supervised Learning 

Modul 2 fokussiert sich auf die Verarbeitung von Bilddaten mit Deep Learning. Neben der Einführung in wichtige Grundlagen von numpy zur Behandlung von Bildern wird die Multi-Label Klassifizierung erörtert und vorgestellt. Es wird zudem die Object Detection mit Bounding Boxes behandelt, um Objekte auf Bildern mithilfe von rechteckigen Bounding Boxes zu erkennen und zu klassifizieren. Danach wird die semantische Segmentierung anschaulich erläutert, welche beispielsweise im autonomen Fahren Anwendung findet.

An Tag 2 liegt der Fokus auf dem Training von neuronalen Netzen mit wenigen / unzureichenden Daten, was in der Realität oft der Fall ist. Es wird die Daten-Augmentierung, d.h. die künstliche Vergrößerung des Datensatzes durch Verzerrung der bisherigen Trainingsdaten sowie das Fine-Tuning / Transfer Learning, d.h. das Verwenden von neuronalen Netzen, die auf anderen Datensätzen vortrainiert wurden, vorgestellt. Zudem wird ein Schwerpunkt das Thema Uncertainty Estimation sein, um eine bessere Einschätzung der Klassifizierungswahrscheinlichkeit zu erhalten. Modul 2 wird durch Semi-Supervised Learning, einer Lernmethode, in der neben gelabelten Daten auch ungelabelte Daten verwendet werden, abgeschlossen.

Tag 3

• Einführung in numpy zur Arbeit mit Bilddaten
  • Ein numpy Array und dessen Attribute
  • Arrays erstellen und mit Daten befüllen (bzw. mit Zufallszahlen)
  • Mathematische Operationen mit Numpy
     
• Multi-Label Klassifizierung
  • Multi-Hot Encoding
  • Sigmoid Aktivierungsfunktion
  • Binary Crossentropy
     
• Objekt-Detektion mit Bounding Boxes
  • Mean-Squared-Error und Cross-Entropy Loss
  • Trainingsgüte: intersection over union (IoU)
     
• Semantische Segmentierung
  • Cross-Entropy Loss und mean IoU
  • U-Net (bekannte Netzwerkarchitektur für Segmentierung)
  • Up-Convolution

Tag 4

• Training bei wenig Daten und Fine-Tuning
  • Data Augmentation zur Erweiterung des Datensatzes im Training
  • Code von vortrainierten Netzwerk-Architekturen verwenden
  • Fine-Tuning: Netzwerke für seine Aufgabe adaptieren
     
• Uncertainty Estimation
  • Arten von Uncertainty (Aleatoric, Epistemic)
  • Überblick von Methoden zur Bestimmung der Uncertainty
  • Berechnung von Netzwerkunsicherheit mit Ensembles und MC Dropout
     
• Semi-Supervised Learning
  • Überblick über Arten des Semi-Supervised Learnings
  • Implementierung eines Semi-Supervised Algorithmus für die Bildklassifizierung

Modul 3
Deep Learning mit Sequenzdaten: Text und Zeitreihen – Vorbereitung der Daten und bekannte Architekturen (RNN; LSTM). Grundlagen vom Natural Language Processing (NLP)

In Modul 3 werden die Grundlagen von Deep Learning-Sequenzmodellen vermittelt. Modelle wie Rekurrente Neuronale Netze (RNNs) und ihre Erweiterungen spielen eine wichtige Rolle u.a. in der Verarbeitung natürlicher Sprache, dem Natural Language Processing (NLP). Viele industrielle und wissenschaftliche Daten müssen als Zeitreihendaten im Deep Learning Kontext speziell gehandhabt werden. Den Rahmen des Moduls bietet die Sprachverarbeitung. Hierbei wird die Vorverarbeitung von Textdaten für Deep Learning Modelle beleuchtet und anhand einer Sentimentanalyse die Textklassifikation vorgestellt. Zum Abschluss werden die komplexen Sequence-to-sequence-Modelle anhand einer Übersetzungsanwendung praktisch umgesetzt. Für die Bearbeitung von Zeitreihen werden in diesem Modul außerdem die grundlegenden Besonderheiten erläutert, die für die Deep Learning Modelle beachtet werden müssen.

Ein weiter Themenschwerpunkt ist die Recurrent Neural Network (RNN) Architektur. Es wird aufgezeigt, wie ein RNN aufgebaut ist und wie dieses Schritt für Schritt in Keras umgesetzt werden kann. Zudem wird ein Einblick in die Erweiterungen, das LSTM (Long Short Term Memory) und die GRU (Gated Recurrent Unit) gegeben. In der Praxis kommt oft eine Mischung aus traditionellen und modernen Verfahren zum Einsatz. Hierbei werden auch die leistungsstarken Algorithmen, wie Facebook Prophet und Amazon‘s DeepAR Algorithmus behandelt und analysiert.

Tag 5

• Vorverarbeitung und Klassifizierung von Textdaten (NLP)
  • Text-Vectorization (vom Text über den Token zur Zahl)
  • Word Embeddings (GloVe, Word2Vec)
  • Code-Beispiel: Klassifizierung von Film-Bewertungen (Sentimentanalyse)
     
• Grundlage Sequenzdaten
  • Sequenzdaten und die klassische Modellierung: ARIMA und exponential smoothing
  • Anwendungen und Visualisierungen von Sequenzdaten
  • Code-Beispiel: Vergleich von Vorhersagen
     
• Klassifizierung, Clustering, Anomalieerkennung: Umsetzung im Machine Learning Context
  • Rollendes Fenster vs. unsortierte/unstrukturierte Daten: Feature Extraktion für Zeitreihen und Kontextfeatures
  • Traditionelles Machine Learning (Bsp: Random Forest) vs Deep Learning (MLP)
  • Code-Beispiel: Raumbelegungserkennung

Tag 6

• Recurrent Neural Network (RNN)
  • Struktur und Typen eines RNNs
  • Vanishing gradient Problem und die RNN-Erweiterungen: LSTM und GRU
  • Code-Beispiel: Anwendung von RNN auf Sequenzdaten
     
• Praxis von Zeitreihenmodellierung: Die Mischung macht‘s
  • Additives Regressionsmodell mit Facebook’s Prophet
  • Auto-Regressives RNN: Amazon’s DeepAR
  • Code-Beispiel: Predictive Maintenance
     
• Sequence-to-squence (NLP Beispiel)
  • Encoder-Decoder Modelle
  • Einblick in Attention-Modelle, Transformers und BERT
  • Code-Beispiel: Maschinelles Übersetzen Deutsch-Englisch

Modul 4
Deep Learning Web App & Strategien zur Anwendung im Unternehmenskontext – Web Applikation streamlit für Deployment, exemplarische Anwendungen im Deep Learning, Handlungsempfehlung für den unmittelbaren Einsatz im Unternehmen

Modul 4 fokussiert sich an Tag 1 auf das Deployment der trainierten Algorithmen mit der Web App streamlit. Hierbei werden, basierend auf bereits trainierten Modellen des Lehrgangs, diese in eine streamlit Applikation eingebunden. Das Framework streamlit eignet sich zur leichten und schnellen Erstellung von Web Applikationen. Ziel ist es, die Funktionalitäten kennen zu lernen, um eine eigene Webapp erstellen zu können, so dass auch unerfahrene Benutzer Zugang zu den trainierten Netzen und dessen Output haben. Hierbei werden insbesondere die Möglichkeiten der Datenvisualisierung behandelt. 

Am zweiten Tag wird ein Ausblick auf weitere Anwendungsmöglichkeiten im Deep Learning gegeben. Es wird ein spezieller Case des Unsupervised Learning behandelt. Dabei werden mit den Algorithmen UMAP und HDBSCAN ungelabelte Bilder geclustert, um exemplarisch die automatische Sortierung von Bildern zu veranschaulichen. Zudem werden weitere open source Deep Learning Anwendungen mit Code vorgestellt, welche bei Bedarf für die eigene Nutzung übernommen werden können. 

Der Lehrgang schließt mit einer umfassenden Q&A-Session ab, um offene Fragen und Problemstellungen, auch aus Ihrer Praxis, zu diskutieren. Zudem wird ein Ausblick auf zukünftige Entwicklungen gegeben. 

Tag 7

• Webapps mit streamlit
  • Einführung in Streamlit
  • Überblick über Widgets und Funktionalitäten
  • Buttons zur interaktiven Eingabe erzeugen
     
• Datenvisualisierung mit streamlit 
  • Einlesen von Daten
  • Visuelle Darstellung von Daten
  • Überblick von verschiedenen Plots für ein interaktives Dashboard
  • Bildverarbeitung (Filter, Rotation, Cropping)
     
• Trainieren neuronaler Netze on the fly 
  • Interaktives Ändern von Parametern im Training und Visualisierung der Effekte 
  • Anwendung: Nutzung trainierter Netze für die Klassifizierung von Bildern 
  • Grenzen von streamlit

Tag 8

• Unsupervised Learning
  • Erläuterung von UMAP und HDBSCAN
  • Anwendung auf das Clustern von ungelabelten Bildern
     
• Deep Learning Anwendungen mit verschiedenen Datentypen
  • Bekannte Beispiele mit open source code
  • Umsetzung und einführende Erklärung zum selbstständigen Weiterlernen
     
• Klärung offener Fragen und Feedback
  • Rückblick auf den Zertifikatslehrgang
  • Feedback der Teilnehmenden und der Trainer

• Die Durchführung des Seminars kann erst ab einer Mindestteilnehmerzahl von fünf garantiert werden.
• Bitkom-Personenzertifikat: Voraussetzung für den Erhalt des Zertifikats ist die erfolgreiche Bearbeitung unterschiedlicher Aufgaben zwischen den vier Modulen. Die Aufgaben werden im Rahmen von den Modulen ausführlich ausgewertet und diskutiert. Das Personenzertifikat beruht auf einem Qualitätsstandard, den sich die Bitkom Akademie und ihre Partner als Qualitätssiegel für ihre Seminare und Lehrgänge gesetzt haben. 
• Dieser Online-Lehrgang wird mit Zoom durchgeführt. Systemvoraussetzungen und unterstützte Betriebssysteme können Sie hier einsehen. Für die Einwahl in Zoom über die verschiedenen Anwendungen (Desktop Client, App oder Web-Client) finden Sie hier einen zusätzlichen Vergleich zu den jeweiligen Eigenschaften. Für diesen Lehrgang ist die Installation des Zoom Desktop Client zwingend notwendig. Die browserbasierte Nutzung von Zoom reicht nicht aus, um die Freigaberechte des eigenen Bildschirms an die Referenten zu übertragen, was wiederum wichtig ist, um aktive Hilfestellung beim Programmieren zu ermöglichen. 
• Die Bitkom Akademie ist anerkannter Bildungsträger in Baden-Württemberg und Nordrhein-Westfalen. Teilnehmer haben im Rahmen des Bildungszeitgesetzes die Möglichkeit, Bildungsurlaub bzw. eine Bildungsfreistellung zu beantragen. Auf Anfrage erstellen wir auch Anträge auf Anerkennung unserer Veranstaltungen in anderen Bundesländern.
• Nachteilsausgleich: Menschen mit Behinderungen können für Prüfungen bei Zertifikatslehrgängen der Bitkom Akademie einen "Nachteilsausgleich" beantragen. Ein "Nachteilsausgleich“ bedeutet, dass die Prüfung so verändert wird, dass die behinderungsbedingten Nachteile des Prüfungsteilnehmenden möglichst ausgeglichen werden. Weitere Informationen dazu und wie Sie diesen Beantragen können finden Sie hier.
• Wir erklären ausdrücklich, dass beim Bitkom – Unterzeichner der Charta der Vielfalt – jede Person, unabhängig von Geschlecht, Nationalität, ethnischer Herkunft, Religion oder Weltanschauung, Behinderung, Alter, sexueller Orientierung und Identität willkommen ist.

• Gemeinsam mit der HanseMerkur bietet die Bitkom Akademie eine freiwillige Seminar-Rücktrittsversicherung an.
• Diese Versicherung ermöglicht Ihnen die kostenfreie Stornierung Ihrer Teilnahme, wenn kurzfristige oder unvorhergesehene Ereignisse Ihre Teilnahme am Seminar verhindern.
• Die Kosten der Seminar-Rücktrittsversicherung sind abhängig vom Seminarpreis. Die Preisliste der HanseMerkur finden Sie hier.

Mehr erfahren Zur Buchung