Embedding im Machine Learning am Beispiel von ChromaDB

Embedding im Machine Learning wird genutzt, um mehrdimensionale Objekte wie Bilder, Text, Videos oder Audiodaten in Vektoren umzuwandeln. So können diese von maschinellen Lernmodellen besser erkannt und kategorisiert werden. Insbesondere in Vektordatenbanken wie ChromaDB kommt diese Methode bereits mit großem Erfolg zum Einsatz.

Was ist Embedding im Machine Learning?

Embedding im Machine Learning ist eine Technik, die Systeme verwenden, um reale Objekte durch eine Darstellung in mathematischer Form für die künstliche Intelligenz (KI) verständlich zu machen. Diese Einbettungen (engl. embeddings) vereinfachen dabei einerseits die Darstellung der realen Objekte, behalten andererseits aber deren Merkmale und Beziehungen zu anderen Objekten bei. Die Methode wird genutzt, um maschinelle Lernmodelle im Auffinden ähnlicher Objekte zu unterrichten. Dabei kann es sich unter anderem um natürlichen Text, Bilder, Audiodaten oder Videos handeln. Man spricht bei diesen Objekten von hochdimensionalen Daten, da zum Beispiel ein Bild zahlreiche Pixelfarbwerte enthalten kann.

Bei AI Embeddings handelt es sich strenggenommen um Vektoren. Vektoren sind in der Mathematik Zahlenreihen, die einen Punkt in einem dimensionalen Raum bestimmen.

Die Grundidee von Embeddings im Machine Learning ist es nun, dass ein Suchalgorithmus innerhalb einer Vektorendatenbank zwei Vektoren identifiziert, die möglichst nah beieinander liegen. Je vielschichtiger diese Vektoren sind, desto genauer wird in den meisten Fällen auch das Ergebnis sein, wenn zwei davon sich ähneln. Daher werden beim Embedding im Machine Learning möglichst viele Faktoren oder Dimensionen vektorisiert und beim Vergleich berücksichtigt. Damit dies gelingt, wird ein Modell mit möglichst großen und heterogenen Datensätzen trainiert.

Welche Anwendungsfälle für Embedding im Machine Learning gibt es?

Embeddings finden im Machine Learning vor allem bei großen Sprachmodellen, also Large Language Models (LLMs), Verwendung. Diese werden von zahlreichen KI-Tools genutzt. Dabei bettet die Methode nicht nur ein Wort ein, sondern auch seinen Kontext. Dies ermöglicht es Lösungen wie ChatGPT auch Wortfolgen, Sätze oder ganze Texte zu analysieren. Unter anderem folgende Anwendungsoptionen gibt es daher für Embedding im Machine Learning:

• Bessere Suchen und Abfragen: Embedding im Machine Learning kann genutzt werden, um Suchanfragen und Abfragen zu präzisieren und dadurch auch auf lange Sicht exaktere Ausgaben zu ermöglichen.
• Kontextualisierung: Auch durch die Bereitstellung zusätzlicher Kontextinformationen können präzisere Antworten geliefert werden.
• Individuelle Anpassungen: Große Sprachmodelle können mithilfe von AI Embeddings spezifiziert und individualisiert werden. So ist ein genauer Zuschnitt auf bestimmte Konzepte oder Begrifflichkeiten möglich.
• Integration: Mithilfe von Einbettungen können auch Daten aus externen Datenquellen integriert werden. Dadurch werden Datensätze noch umfangreicher und heterogener.

Wie funktioniert Embedding? (Beispiel: ChromaDB)

Für die effektive Speicherung und spätere Abfrage von eingebetteten Daten ist eine Vektordatenbank die beste Lösung. Solche Speicher hinterlegen die Daten nicht nur platzsparend, sondern erlauben Abfragen, die nicht das genaue Ergebnis, sondern ähnliche Ergebnisse ausliefern. Einer der populärsten Open-Source-Vektorspeicher ist ChromaDB. Dieser speichert Embeddings für Machine Learning zusammen mit Metadaten, sodass diese zu einem späteren Zeitpunkt von LLMs verwendet werden können. Anhand dieser Lösung können wir die Funktionsweise von Einbettungen etwas besser veranschaulichen. Im Großen und Ganzen sind nur die drei nachfolgend präsentierten Schritte nötig.

Schritt 1: Eine neue Sammlung erstellen

Im ersten Schritt wird eine Sammlung erstellt, die Ähnlichkeiten mit den Tabellen aufweist, die in einer Beziehungsdatenbank hinterlegt wurden. Diese werden in Einbettungen umgewandelt. Als Standard für Embeddings nutzt ChromaDB die Umwandlung all-MiniLM-L6-v2. Diese Einstellung kann aber geändert und dadurch ein anderes Modell genutzt werden. Wenn Sie z. B. eine spezialisierte Sammlung benötigen, können Sie durch die Wahl eines anderen Modells spezifische Anforderungen wie die Verarbeitung von Fachtexten oder Bildern besser berücksichtigen. Die Flexibilität bei der Modellwahl macht ChromaDB vielseitig einsetzbar, ob für Text, Audio oder Bilddaten.

Schritt 2: Neue Dokumente hinzufügen

Anschließend fügen Sie zu der neuen Collection Textdokumente mit Metadaten und einer eigenen ID hinzu. Enthält die Sammlung den Text, wird er automatisch von ChromaDB in Embeddings umgewandelt. Die Metadaten dienen dabei als zusätzliche Informationen, um die Abfrage später gezielt zu verfeinern, z. B. durch Filterung nach Kategorien oder Zeitstempeln. Diese Strukturierung ermöglicht es, große Datenmengen übersichtlich zu verwalten und relevante Ergebnisse schneller zu finden.

Schritt 3: Die gesuchten Dokumente abfragen

Im dritten Schritt können Sie dann Texte oder Embeddings in ChromaDB abfragen. Als Ausgabe erhalten Sie dann Ergebnisse, die Ihrer Anfrage ähneln. Es ist außerdem möglich, die gewünschten Dokumente durch die Eingabe der Metadaten auszugeben. Die Ergebnisse werden nach ihrer Ähnlichkeit sortiert, sodass die Treffer mit der höchsten Relevanz ganz oben stehen. Zudem können Sie die Abfrage optimieren, indem Sie Schwellenwerte für die Ähnlichkeit festlegen oder zusätzliche Filter anwenden, um die Präzision weiter zu erhöhen.