Transfer Learning: Vortrainierte Modelle für neue Aufgaben nutzen

Transfer Learning ist ein Ansatz, bei dem ein vortrainiertes Modell für eine neue, verwandte Aufgabe genutzt wird. Diese Methode spart Zeit und Ressourcen und verbessert die Leistung von Modellen des maschinellen Lernens. Es gibt unterschiedliche Strategien, mit denen vortrainierte Modelle für eine neue Aufgabe angepasst werden.

Was ist Transfer Learning?

Transfer Learning ist eine Methode aus dem Bereich des Machine Learnings, bei der ein trainiertes Modell für eine neue, ähnliche Aufgabe optimiert wird. Anstatt also ein neues Modell aufwendig für eine bestimmte Aufgabe von Grund auf zu trainieren, macht man sich das bereits erlangte Wissen zunutze. Durch leichte Anpassungen wird das bereits trainierte Modell verwendet und so an die neuen Merkmale angepasst, damit es für eine weitere Aufgabe eingesetzt werden kann. Der Einsatz eines bereits bestehenden Modells spart Zeit und Ressourcen, da für das Training deutlich geringere Datenmengen benötigt werden. Die Methode ist dadurch effizienter und leistungsfähiger.

Wie funktioniert Transfer Learning?

Beim Transfer Learning nimmt man ein Modell, das bereits vollständig für eine bestimmte Aufgabenstellung trainiert wurde, und wendet es auf eine neue, ähnlich gelagerte Aufgabe an. Das funktioniert besonders gut beim Einsatz mit unstrukturierten Daten wie zum Beispiel Bild- oder Videomaterial. Ein Modell, das bisher darauf trainiert wurde, Bilder von PKW zu erkennen, kann so zum Beispiel eingesetzt werden, um fortan LKW zu identifizieren. Zahlreiche Merkmale beider Gruppen wie Räder, Türen oder die grundsätzliche Form können dabei übernommen werden.

Trainiertes Modell auswählen

Als Ausgangspunkt benötigen Sie ein trainiertes Modell. Dieses wird mithilfe eines sehr umfangreichen Datensatzes und markierten Beispielen geschult. Das Modell erkennt nach und nach Muster und Beziehungen in den Daten und lernt dadurch, die vorgesehene Aufgabe zu erfüllen. Im Bereich des Machine Learnings spricht man von Schichten, die miteinander verknüpft sind und über die Berechnungen durchgeführt werden können. Je mehr Schichten ein Modell hat, desto komplexere Muster kann es nutzen.

Beim Transfer Learning wählen Sie nun ein Modell aus, das diese Schritte bereits erfolgreich absolviert hat. Dabei lohnt sich ein genauer Blick auf die Quellaufgabe eines bestehenden Modells. Je näher diese an der neuen Aufgabe ist, desto einfacher wird auch der Umstieg fallen.

Modell neu konfigurieren und trainieren

Im zweiten Schritt konfigurieren Sie das bereits vortrainierte Modell für die neue Aufgabe. Dafür gibt es im Großen und Ganzen zwei praktische Methoden, von denen Sie die für Ihre Zwecke passendere auswählen können.

Bei der ersten Methode wird die letzte Schicht des trainierten Ausgangsmodells ausgetauscht. Diese Schicht bezeichnet man auch als Output Layer. Sie dient als finale Klassifikationseinheit, bewertet also, ob eine Datei die hinterlegten Parameter erfüllt oder nicht. Für unser Beispiel würde das bedeuten, dass diese Schicht die Entscheidung trifft, ob ein vorgelegtes Bild einen PKW abbildet. In vielen Anwendungsfällen können Sie diese Schicht entfernen und an ihrer Stelle eine neue Schicht einsetzen, die für Ihren Einsatzzweck angepasst wurde. In unserem Beispiel würde sie also LKW identifizieren.

Alternativ ist es beim Transfer Learning möglich, die bisherigen Parameter einzufrieren und stattdessen neue Schichten hinzuzufügen. Diese werden genau auf die gewünschte Neuausrichtung zugeschnitten und integriert. Im Anschluss trainieren Sie dann das angepasste Modell mit einem deutlich kleineren Datensatz, der die entsprechenden Beispiele enthält. Das Modell erkennt dann Muster und Beziehungen, wobei es auf die bereits langwierig antrainierten Erkenntnisse des ursprünglichen Trainings zurückgreifen kann.

Fortschritte überprüfen

Der letzte Schritt muss in jedem Fall durchgeführt werden: Nur durch ein gewissenhaftes Monitoring und gegebenenfalls Anpassungen am Trainingsmaterial und eventuell den neuen Schichten können Sie die KI auf die neue Aufgabe trainieren. Wenn die Parameter während des Trainings angepasst werden, steigt damit auch die Treffergenauigkeit und das Modell lernt die neuen Anforderungen zu erfüllen.

Welche unterschiedlichen Strategien gibt es?

Es gibt unterschiedliche Strategien für den Einsatz von Transfer Learning. Welche davon für Sie in Frage kommt, hängt vor allem von dem gewünschten Einsatzzweck ab. Dies sind einige Ansätze:

• Merkmalextraktion: Bei der Merkmalextraktion nutzen Sie das vorab trainierte Modell als feststehenden Faktor für grundlegende Merkmale wie zum Beispiel Texturen. Die neuen Schichten werden dann genutzt, um besondere Merkmale zu erkennen. Die Anwendung ist sinnvoll, wenn Quelle und Ziel große Überschneidungen haben.
• Induktives Transferlernen: Hierbei sind Quell- und Zieldomain identisch, Quell- und Zielaufgaben unterscheiden sich allerdings. So können neue Funktionen schneller antrainiert werden.
• Transduktives Transferlernen: Bei dieser Strategie wird das gewonnene Wissen aus der Quellaufgabe direkt auf bestimmte Instanzen der neuen Aufgabe übertragen, um diese zum Beispiel besser klassifizieren zu können. Dieser Ansatz ist vielversprechend, wenn Quell- und Zielaufgaben vergleichsweise wenige Gemeinsamkeiten aufweisen.
• Unbewachtes Transferlernen: Auch hierbei sind Quell- und Zieldomain ähnlich und die jeweiligen Aufgaben unterschiedlich. Zusätzlich werden Daten allerdings nicht mit einem Label ausgezeichnet. Das Modell lernt dann die Unterschiede und Gemeinsamkeiten der unbeschrifteten Daten kennen und kann diese verallgemeinern.
• Multitasking: Bei diesem Ansatz führt ein Modell gleichzeitig mehrere Aufgaben aus, die zwar nicht identisch sind, aber in einer Verbindung zueinanderstehen. Das ermöglicht ein gemeinsam genutztes Wissen.
• Vorhersage: Bei dieser Form des Transferlernens soll das Modell bestimmte fehlende Aspekte der Daten selbst ergänzen. So werden zum Beispiel Worte innerhalb eines Satzes vorhergesagt. Durch eine Feinabstimmung sollen die Ergebnisse dabei verbessert werden.
• Zero-Shot und Few-Shot: Auch hierbei handelt es sich um eine Form des Transferlernens im Bereich der generativen KI, bei der Wissen aus einer Quelle auf ein Ziel übertragen werden soll, wenn zwischen beiden nur wenige Überschneidungen (Few-Shot) oder gar keine Überschneidungen (Zero-Shot) existieren. Die Methode wird angewendet, wenn nur sehr wenige Trainingsdaten zur Verfügung stehen.
• Entflechtung: Für diesen Ansatz werden Daten in unterschiedliche Faktoren aufgeteilt. Das Modell kann dann zum Beispiel Stil und Inhalt getrennt voneinander betrachten und manipulieren.

Welche Anwendungsgebiete hat Transfer Learning?

Es gibt zahlreiche denkbare Anwendungsgebiete von Transfer Learning. Die Methode spart im hohen Maße Kosten, Zeit und Ressourcen und bringt dadurch zahlreiche Vorteile mit sich. Zu den bislang wichtigsten Einsatzzwecken gehören:

• Bilderkennung
• Spracherkennung
• Objektlokalisierung
• Diagnostik im Gesundheitswesen

In Zukunft wird Transfer Learning allerdings mit hoher Wahrscheinlichkeit in vielen weiteren Bereichen zum Einsatz kommen.