nyris über #TechWeLove: Stable Diffusion

Bildbasierte generative KI hat in den letzten Jahren stark an Popularität gewonnen. Viele Namen sind heute weithin bekannt, darunter Stable Diffusion und DALL-E von OpenAI. 

Aus Sicht der Nutzer wirkt KI zur Bilderzeugung einfach und macht Spaß. Wir haben mit Alessandro Leone, Head of Synthetic Data bei nyris, gesprochen. Er erklärt, dass deutlich mehr dahintersteckt, als man auf den ersten Blick sieht. 

In der ersten Folge von #TechWeLove bei nyris sprechen wir über Stable Diffusion.

‍

Das Wichtigste zuerst: Was ist Stable Diffusion?

Stable Diffusion ist ein Beispiel für einen Open-Source-Algorithmus für generative KI, der Bilder auf Basis einer bestimmten Eingabe erzeugt. Diese Eingabe kann ein Textprompt, ein Bild oder eine Kombination aus beidem sein.

Professor Björn Ommer und die Computer Vision and Learning Group der LMU München haben mit ihrer Forschung zu generativer KI eine zentrale Rolle bei der Weiterentwicklung von Stable-Diffusion-Modellen gespielt. Sie haben wichtige Fragen zu Training und Optimierung dieser Modelle gelöst. Damit sind Stabilität und Qualität der Diffusionsprozesse gestiegen.

Das Modell von Prof. Ommer ist ein kleines Modell. Es soll wirtschaftlicher und umweltfreundlicher arbeiten. Das kleine Modell braucht weniger Energie und läuft auf einem Standard-PC, ohne energieintensive Rechenzentren. nyris freut sich, Prof. Ommer im Board of Technology zu haben.

‍‍

Stable Diffusion einfach erklärt

Alessandro erklärt, dass Diffusionsmodelle zwei Hauptphasen haben: 

1. Der Vorwärtsprozess: Einem sauberen Bild wird schrittweise zufälliges Rauschen hinzugefügt, wodurch die Pixel zufällig werden. 

2. Der Rückwärtsprozess: Der Algorithmus entfernt das Rauschen schrittweise und versucht, das Originalbild wiederherzustellen. 

Das Modell ist darauf trainiert, in jedem Schritt eine berechnete Menge Rauschen vorherzusagen und abzuziehen. Da die Rauschentfernung nicht deterministisch ist, entsteht am Ende ein neu erzeugtes Bild. Es ähnelt dem Original, stimmt aber nicht genau damit überein. So entsteht ein eigenständiges Bild, erzeugt von einer KI.

‍

CLIP: die Brücke zwischen Sprache und Bild 

CLIP (Contrastive Language-Image Pre-Training) ist ein neuronales Netz. Es lernt aus einem großen Datensatz von Bild-Text-Paaren, Bilder und die zugehörigen Textbeschreibungen zu verstehen. Stable Diffusion nutzt CLIP, um Bild und Text besser zusammenzubringen. 

CLIP bettet Bilder und Texte in denselben hochdimensionalen Raum ein. Dort lassen sich ihre Merkmale leicht vergleichen. Bilder werden durch Vektoren dargestellt, die ihre wichtigsten Merkmale im Bezug auf die Textbeschreibung erfassen. So richtet das Modell Bilder und Texte aneinander aus: Vektoren, die näher beieinander liegen, stehen für ähnlichere Objekte. 

‍

Vom Bild zum Embedding: das „Wer ist es?“ der KI

Wenn wir etwas beschreiben, nutzen wir automatisch Schlüsselwörter, die das Gemeinte eindeutig kennzeichnen. Um ein Bild zu erzeugen, geben Nutzer von Stable Diffusion einen Prompt ein, der Schlüsselwörter für das enthält, was sie sehen wollen.

Wie funktioniert das im Algorithmus? Alessandro erklärt es mit einem Vergleich aus dem Alltag: dem Brettspiel „Wer ist es?“. 

Im Spiel stellen wir dem Gegenüber eine Reihe von Fragen. Mit Schlüsselwörtern klären wir die Merkmale der Person auf seiner Karte, etwa: Hat die Person blonde Haare? Blaue Augen? Eine große Nase? Durch Ausschluss über binäre „Ja/Nein“-Fragen entsteht ein Bild im Kopf, und am Ende erraten wir, wer oder was auf der Karte zu sehen ist. 

Jede Figur bei „Wer ist es?“ lässt sich als Vektor von Merkmalen im Embedding-Raum darstellen. Visuell ähnliche Figuren liegen dort näher beieinander. Wie beim Filtern von Punkten im Embedding-Raum teilen wir den Raum mit jeder Frage auf. So sinkt die Zahl der Möglichkeiten, und die richtige Figur lässt sich anhand ihrer Merkmale leichter bestimmen. 

Dieser Ansatz hilft, Daten effizient zu vergleichen, zu gruppieren und zu analysieren. Ähnlich gehen wir vor, wenn wir im Spiel die Karte des Gegenübers herausfinden. 

Bei einem Textprompt wandelt ein Sprachmodell den Text in numerische Darstellungen um. In beiden Fällen sinkt die Zahl der Möglichkeiten schrittweise: durch iterative Verfeinerung und gelenkte Eingaben, bis das gewünschte Ergebnis oder die „richtige Antwort“ vorliegt.

Fine-Tuning: die DJ-Decks der KI 

Fine-Tuning ist ein Verfahren im maschinellen Lernen. Ein vortrainiertes Modell aus einem großen Datensatz wird genutzt, und seine internen Parameter oder „Gewichte“ werden leicht angepasst, um ein anderes Ergebnis zu erhalten. Es entsteht kein neues Modell, und die Architektur bleibt weitgehend gleich. Das Modell lernt trotzdem hinzu und merkt sich, wie es aus einer neuen Eingabe das gewünschte Ergebnis erzeugt.

Alessandro zieht eine Parallele zwischen dem Fine-Tuning von KI-Modellen und dem Einstellen eines DJ-Plattenspielers. So wie ein DJ seinen Mix über verschiedene Regler justiert, verbessern KI-Forscher die Leistung ihres Modells über die Gewichte im neuronalen Netz. So lässt sich Stable Diffusion für bestimmte Aufgaben oder Domänen anpassen und liefert in diesen Anwendungen bessere Ergebnisse.

Beim Fine-Tuning liegt der Fokus meist auf den letzten Gewichtsschichten eines vortrainierten Modells wie Stable Diffusion. Dazu liefert man neue Bilder und nimmt kleine Anpassungen vor, damit das Modell die gewünschten Ergebnisse liefert.

‍

Anwendungsfall für nyris

Unser Ziel bei nyris: Unsere Kunden arbeiten effizienter, weil die visuelle Suche ihre Produktidentifikation beschleunigt. 

Fehlen unseren Kunden Bilddaten für ihren Index, erstellt nyris mit synthetischen Daten fotorealistische Modelle aus ihren CAD-Daten. Stable Diffusion bietet Potenzial, hochwertige Bilder für Kunden mit lückenhafter oder schwacher Bilddatenlage zu erzeugen. 

Alessandro erklärt: nyris kann einen Index schon mit einem Bild pro Produkt aufbauen, mehr Bilder liefern jedoch bessere Ergebnisse. Mit Stable Diffusion erzeugt sein Team aus einem einzelnen Produktbild oder einer detaillierten Beschreibung mehrere hochwertige Bilder von Ersatzteilen und verkleinert so die Datenlücke unserer Kunden. Dabei gibt es allerdings Grenzen…

‍

Herausforderungen und nächste Schritte

Stable Diffusion ist leistungsfähig, doch jede Technologie hat Grenzen. Alessandro nennt offen einige aus seiner Praxis:

• Sehr detailreiche Bilder sind schwierig, weil sie sehr detaillierte Beschreibungen brauchen. 
• Die Übertragung auf unbekannte Objekte oder Szenarien fällt schwer, weil die Modelle stark von den Mustern in ihren Trainingsdaten abhängen. 
• Ein Verständnis der „realen Welt“ fehlt. Komplexe Szenen lassen sich daher nur eingeschränkt korrekt deuten. 
• Manchmal entstehen Artefakte oder visuelle Ungenauigkeiten, besonders bei komplexen Strukturen. Das beeinflusst Qualität und Realismus der erzeugten Bilder.

Diese Herausforderungen treiben die Entwicklung im Feld voran. Professor Björn Ommer, seine Computer Vision and Learning Group und das Team von nyris arbeiten laufend daran, die Grenzen der Generierung synthetischer Daten zu verschieben. 

‍

Sie möchten mehr darüber erfahren, wie wir Stable Diffusion und weitere KI-Technologien für visuelle Suche und synthetische Daten einsetzen? Schreiben Sie uns einfach über die nyris-Website. Gemeinsam sehen wir uns die Zukunft KI-gestützter Anwendungen an.