In Rahmen eines neuen Projektes zur Verbesserung der Nachhaltigkeit im industriellen Sektor freut sich LangTec die Zusammenarbeit mit einem der Global Player in der Stahl- und Metallhandelsbranche mitteilen zu können. Als Teil dieser Zusammenarbeit trägt LangTec sein Fachwissen im Bereich Backend-Entwicklung bei, um beim Entwickeln von Lösungen zu helfen, die revolutionieren werden, wie wir über Kohlenstoffemissionen in der Lieferkette denken.

Das Sustainability Team unseres Kunden hat es sich zur Aufgabe gemacht, Endkunden mit all den Informationen auszustatten, die sie benötigen, um umweltbewusste Entscheidungen zu treffen. Ausgerüstet mit einem wegweisenden System zur Berechnung von Kohlenstoffemissionen über den ganzen Produkt-Lebenszyklus hinweg fügt das Sustainability Team nun die Entwicklungsexpertise von LangTec hinzu, um diese Initiative auf die nächste Stufe zu heben.

Wir tragen zu einer verbesserten Lösung bei, welche es einfacher machen wird, den Umwelteinfluss von verschiedenen Materialien und Lieferanten zu verfolgen und zu analysieren, von der Rohmateriallieferung bis hin zur letzten Etappe des Transports zum Endverbraucher. Zusätzlich ist LangTec eingebunden in die Integration eines Authentifizierungssystems, um die Benutzererfahrung weiter zu optimieren und einen nahtlosen Interaktionspfad hin zu einer grüneren und nachhaltigeren Kundenauswahl bereitzustellen.

Für unseren Kunden aus Süddeutschland haben wir ein Produktivsystem konzipiert, umfangreich getestet und nun im Cloudbetrieb gestartet, welches pro Tag mehrere zehntausend Texte innerhalb weniger Stunden transformiert und zurückmeldet. Die vom Kunden gesendeten kurzen Texte werden dabei automatisch mittels ChatGPT von OpenAI transformiert. Dabei werden die Antworten von ChatGPT auch linguistisch auf ungewünschte Wörter gecheckt und bei Bedarf Regenerierungen des Textes beauftragt. Um die notwendige Verarbeitungsgeschwindigkeit unter Berücksichtigung der bestehenden Loadbegrenzungen zu erreichen, verwenden wir hochgradige Parallelisierung auf unterschiedlichen architektonischen Ebenen.

Wie bereits hier berichtet forscht LangTec mit einem führenden norddeutschen, im Feld der technischen Dokumentation arbeitenden Unternehmen am Einsatz eines KI-basierten Assistenzsystems zur Satzvervollständigung für die Textdomäne technische Dokumentation.

Nun konnten wir für den Proof-of-Concept extrem überzeugende Ergebnisse erzielen. Dazu zählt, dass wir durch das Finetuning eines Basismodells auf Kundendaten, die Vorhersagegenauigkeit für das nächste Wort um 45 (top 10 Vorhersagen) bis 62 (top 1) Prozentpunkte steigern konnten. Zudem ermöglichte das Projekt LangTec seine Expertise im Bereich neuronale Sprachmodelle einzusetzen und zu erweitern, insbesondere bezogen auf tiefergreifende Eingriffe in die Standard-Softwarearchitektur des Sprachmodells.

Dieses Jahr meinte es das Wetter zunächst nicht gut mit uns: Im dritten Anlauf hat es aber geklappt und wir trafen uns bei Sonnenschein im Supper Club Hamburg auf kühle Getränke und Wassersport. Je nach Gusto schipperten wir mit SUP, Kanu oder Tretboot über die Alster, trafen auf irische Musiker und die Wellen des Alsterdampfers.. Aber alle blieben trocken und so ging es am Abend Richtung Schanze zu JING JING. Ein hervorragendes 4-Gänge-Menü voller Geschmacksexplosionen katapultierte uns förmlich nach Thailand! Was nun genau zum Konzept gehörte, und was nicht, bleibt wohl offen, aber wir können sagen, dass wir eine fantastische Zeit hatten 🙂

Regulierungen und Konventionen führen auf dem Feld der technischen Dokumentation zu einer hochdomänenspezifischen Sprache, die beim Verfassen neuer Dokumente konsistent eingehalten werden muss. Heute im Einsatz befindliche Systeme können einheitliche Formulierungen oder Strukturen bisher nur anhand von fest vorgegebene, vorab definierten Regeln erkennen. In einem gemeinsamen Forschungsvorhaben entwickelt LangTec nun als Proof of Concept ein Assistenzsystem, das für einen gegebenen Kontext sinnvolle Satzvervollständigungen anbieten ohne dabei auf ein explizit gepflegtes Regelwerk zurückgreifen zu müssen.

Hauptziel dieses KI-Projekts ist es, technische Redakteur:innen von wiederkehrenden, manuellen Arbeiten zu entlasten. Bei der Erstellung neuer Dokumente soll für angefangene Sätze kontext- und domänensensitiv die passendste Fortsetzung vorgeschlagen werden. Dazu wird LangTec anforderungsgetrieben ein großes Basis-Sprachmodell auswählen, dieses auf Basis einer großen Menge bestehender Dokumente durch Finetuning auf die Domäne anpassen und die Genauigkeit der Vorhersage des resultierenden Modells formal evaluieren.

Um die Suchmaschinenrelevanz von Textextrakten zu erhöhen, untersuchen wir für einen unserer Kunden die Paraphrasierungskompetenz des Sprachmodells ChatGPT. Ziel hierbei ist es, Volltexte automatisiert zu reduzieren (Text Summarisation) und mit Umformulierungen (Paraphrase) Textsnippets zu erzeugen, die von der Suchmaschine als möglichst „unique“ (einzigartig) bewertet werden. Durch die Optimierung der textlichen Uniqueness sollen die Snippets in der Trefferliste in der Websuche möglichst hoch gerankt werden und so zu einer besseren Conversion führen.
Für die Durchführung dieses Projekts hat LangTec eigens ein Maß zur Quantifizierung der textlichen Uniqueness konzipiert und operationalisiert. Auch in diesem Projekt bringt LangTec somit seine computerlinguistische Expertise und langjährige Erfahrung in der automatisierten Generierung von Texten ein.

Für einen Anbieter im Bereich Recruiting haben wir erfolgreich die Generierung von Musterstellenanzeigen mit dem großskaligen Sprachmodell ChatGPT realisiert. Die mit unserer Lösung generierten Mustertexte dienen rekrutierenden Firmen in der Erstellung ihrer Stellenausschreibungen als inhaltlicher Ausgangspunkt für weitere individuelle Anpassungen.
Dazu entwickelte LangTec eine Webapp sowie geeignete Anweisungen, sogenannte „Prompts“, für das Sprachmodell von OpenAI. Die Prompts beinhalteten auch textlich relevante Informationen aus einer domänenspezifischen Datenbank, welche von ChatGPT in der Ausgabe berücksichtigt werden sollen.
Nachdem wir in der Vergangenheit bereits über viele Jahre hinweg mit unserer eigens entwickelten Lösung TextWriter umfangreiche Textgenerierungslösungen auf Basis von templatebasierter Textgenerierung (NLG) umgesetzt haben, freuen wir uns, mit diesem Projekt nun auch generative Sprachmodelle in unseren Projekten zur Textgenerierung einzusetzen.

Anlässlich des 12. Jahrestags der Gründung von LangTec haben wir uns heute zum Brunch bei Pynk Coffee, einem gemütlichen Café in Büronähe, getroffen. Während wir köstliche Macarons, Croissants und Küchlein verkosteten, schwelgten wir in Erinnerungen an vergangene Projekte und teilten ebenso die Vorfreude über bevorstehende Projekte.  All dies begleitet von der einen oder anderen Kaffee- oder Teespezialität, haben wir es uns wirklich gut gehen lassen.

Ziel unseres Kunden ist es, geeignete Investitionsziele bereits im Vorhinein zu qualifizieren. In diesem Projekt, bei dem es um große transformer-basierte Sprachmodelle geht, hat LangTec eine Lösung zur Identifizierung aller relevanten Unternehmenstypen auf der Grundlage von Informationen, die auf den Websites von Unternehmen vorhanden sind, entwickelt. Die zentrale Herausforderung bei dieser Aufgabe ist die Bewältigung großer Mengen von Website-Inhalten, deren Länge die typische Sequenzlängenbeschränkung von transformer-basierten Sprachmodellen überschreitet. Die Lösung von LangTec wurde auf Recall optimiert, d.h. sie wurde so konzipiert, dass sie alle potenziell interessanten Unternehmen in der Trainings- und Testmenge erfasst.

Neben der Entwicklung, dem Training und der Optimierung des Perfect-Recall-Classifiers hat LangTec erfolgreich ein hybrides Sprachmodell trainiert, das die Merkmale eines anderen statistischen Modells ohne neuronale Netze zusammen mit den Merkmalen des transformer-basierten Modells verwendet, um eine gemeinsame Klassifizierungsentscheidung zu treffen. Diese Modellarchitektur ermöglicht es, transformer-basierte Modelle mit anderen Machine-Learning-Modellen in einer hybriden Architektur zu kombinieren.

In einem neuen Kundenprojekt darf LangTec mit seinem Wissen in den Bereichen Data Science, Machine Learning und Big Data glänzen – und das diesmal tatsächlich ganz direkt. Wir freuen uns über den neu erteilten Auftrag, umfangreiche Schulungsunterlagen für ein Erwachsenenweiterbildungsprogramm erstellen zu dürfen. Konkret konzipieren wir Unterlagen für die Module Data-Science, Machine Learning und Big Data.

Sehr gerne stellen wir unsere Expertise in diesen Bereichen allen Interessierten bereit, die in diesem spannenden Bereich Fuß fassen und fortgeschrittene Techniken erlernen möchten.