Was dem deutschen KI-Sprachmodell Teuken zu den Branchenführern fehlt

• Teuken7B ist ein kleineres, effizientes Sprachmodell, das in 24 europäischen Amtssprachen trainiert wurde.
• Strukturell ähnelt es DeepSeek aus China.
• Der europäische Ansatz von Teuken7B bedeutet Souveränität, indem ethische Aspekte oder der Datenschutz besonders berücksichtigt werden.
• Eine Expertin betont, dass Deutschland und Europa ihre digitale Infrastruktur und Unabhängigkeit stärken müssen, um in der Zukunftstechnologie KI nicht abgehängt zu werden 

So ganz kann sich Wolfgang Nagel den ausgebliebenen Hype nicht erklären. Nagel ist Direktor des Zentrums für Informationsdienste und Hochleistungsrechnen an der TU Dresden, das das Sprachmodell Teuken7B mitentwickelt hat. Natürlich sei das Modell kleiner, sagt Nagel. Und doch sei man im Wesentlichen den Weg gegangen, den DeepSeek auch gegangen sei: Effiziente und smarte Lösungen finden trotz oder gerade wegen überschaubarer Ressourcen, noch dazu trainiert in den 24 europäischen Amtssprachen.

Eine europäische Antwort auf Chat GPT?

Als europäische Antwort auf Chat GPT 3 war Open GPT-X angepriesen worden. Das Sprachmodell aus den USA von Branchenprimus Open AI hatte den Markt für künstliche Intelligenz zuvor revolutioniert. Konkurrent DeepSeek aus China war erst kurz nach dem Ende des Open GPT-X-Projektes veröffentlicht worden. Beide Modelle, so viel ist klar, sind deutlich umfangreicher, deutlich größer als das europäische. Sie sind aber auch genereller, globaler. Teuken von Open GPT-X sollte kleiner, genauer und eben europäischer werden, anpassungsfähig besonders an hiesige Wirtschafts- und Industrieunternehmen.

Bei den großen Sprachmodellen wird Deutschland nie ganz vorne dabei sein

Bei den großen Sprachmodellen werde Deutschland nie ganz vorne dabei sein, glaubt der Wissenschaftler Nagel. Er sagt aber auch: "Wir werden weder von Open AI noch von sonst jemandem ein Modell bekommen, das man 'finetunen' kann für die speziellen Bedürfnisse, die wir hier haben." Mit Teuken gehe das schon, genau das habe man sich zu Beginn des Projekts auf die Fahnen geschrieben, erklärt Nagel.

Bedeutet aber auch: Im Gegensatz zu den großen Konkurrenten ist das deutsche Sprachmodell keines, das man sich aufs Handy laden und mit Fragen löchern kann, jedenfalls nicht in erster Linie. Angeleitet wurde das Projekt von zwei Fraunhofer-Instituten, einer der Verantwortlichen ist Christoph Schmidt. Dass Teuken nicht so eingeschlagen ist wie die amerikanische und chinesische Konkurrenz, findet er nicht schlimm.

Der Weg ist das Ziel

Schmidt sagt mit Blick auf den Erfolg von DeepSeek aber auch: "Wir hätten es natürlich gern selbst gemacht, wir wären gern selber die Personen gewesen. Waren wir jetzt aber leider nicht."

Know-how ist mindestens genauso wichtig wie das einzelne Modell

Im Fokus steht für Schmidt nicht so sehr das einzelne Modell und dessen medialer Erfolg. "Viel wichtiger ist: Welche Tools haben wir gesammelt, was für Know-how im Umgang mit Grafikprozessoren (GPU)? Wir müssen auf Tausenden von GPU trainieren. Wie gehen wir mit diesen riesigen Datenmengen um? Dieses Know-how ist mindestens genauso wichtig wie das einzelne Modell Teuken".  

Denn: Nach dem Modell ist vor dem Modell. Bald sollen größer angelegte Sprachmodelle folgen. In die Nachfolger können laut Schmidt dann Lösungen aus DeepSeek einfließen, weil sie gut zum eigenen Ansatz passen.

Forscher werten Erfolg von Deepseek als positives Zeichen

Den Erfolg der Chinesen sieht man bei Fraunhofer indes positiv. Die Botschaft: Es geht ohne die Technologie-Riesen aus Übersee. "DeepSeek hat genau gezeigt, dass man auch mit kleinem Budget solche Riesensprünge machen kann, wenn man die richtigen Entscheidungen trifft und die Daten geschickt aufbereitet."

Und genau darauf setzen die Entwickler. Bei Open-GPT-X hat man großen Wert darauf gelegt, sinnvolle Daten und Daten sinnvoll zu verarbeiten. So arbeitet das Sprachmodell Teuken etwa nur mit sieben Milliarden Parametern, während Chat GPT 4 wohl schon über einen Datensatz von über einer Billion Parametern verfügt. Diese Parameter kann man sich vorstellen wie Pixel in einem digitalen Bild. Je mehr man davon hat, desto detailgetreuer und genauer kann man damit arbeiten – jedenfalls theoretisch.

Teuken nutzt weniger Daten, dafür aber hochwertige

Denn mit der Menge an Informationen wächst auch das Fehlerpotenzial. Laut Schmidt haben die Wissenschaftler bei Teuken im Vergleich zu anderen Modellen deswegen sehr viel gefiltert, also sehr viel Überflüssiges rausgeschmissen. "Um zu sagen: Wir nehmen nur hochqualitative Daten. Und in Zukunft, wenn wir dann über industrielle Anwendungen reden, dann nehmen wir die Daten aus dieser Domäne, um dann sehr gute Modelle zu trainieren."

Das Sprachmodell fungiert somit als eine Art Rohling, der mit den spezifischen Daten eines Unternehmens verfeinert wird. Und dann könne man auch mit kleineren Modellen dieselbe Qualität liefern, ist Schmidt überzeugt. Einfach nur mehr Daten zu nutzen, bezeichnet er als "faule Lösung". Die richtigen müssten es sein, auch wenn man dann etwas länger brauche als die Konkurrenz. Dazu trägt auch der Umstand bei, dass bei der Entwicklung von Teuken EU-Datenschutzstandards eine zentrale Rolle gespielt haben.

Europäischer Ansatz für technologische Souveränität

Wichtig für die Verantwortlichen ist aber vor allem eines: Die technologische Souveränität. So lässt sich auch der Ansatz erklären, das Sprachmodell nicht nur auf Englisch zu trainieren, sondern alle EU-Amtssprachen einzubeziehen. Vereinfacht lässt sich sagen: Während etwa Chat GPT größtenteils mit englischsprachigen Texten trainiert wird und die Welt tendenziell durch die US-Brille sieht, tickt Teuken europäisch

Das sei für die Trainingsroutinen, für ethische und moralische Aspekte von großer Bedeutung, sagt Fraunhofer-Forscher Schmidt. Deswegen sei es dringend notwendig, ein eigenes Standbein aufzubauen, "um Modelle zu haben, die unseren Guidelines und unseren Standards entsprechen. Von daher finde ich Teuken umso wichtiger, auch jenseits des Einzelmodells. Genauso wie wir das mit Blick auf die Bundeswehr thematisieren, gilt auch für die Sprachmodelle: Wir müssen sie eigenständig machen".

Entwicklungen in den USA sorgen für Umdenken

Um zu einer echten Alternative zu den Großen der Branche zu werden, muss aber noch Einiges passieren. Experten wie Wolfgang Nagel von der TU Dresden werben dafür, dass die Wirtschaft in Deutschland und Europa mehr Geld und Engagement in die Entwicklung von KI steckt. Die bröckelnden Beziehungen zu den USA hätten zuletzt für ein Umdenken gesorgt, sagt Nagel. EU-Kommissionspräsidentin Ursula von der Leyen etwa will mit der Initiative InvestAI 200 Milliarden Euro mobilisieren, um KI auf dem Kontinent wettbewerbsfähig zu machen.

Ob so viel Geld tatsächlich nötig ist, will der Dresdner Wissenschaftler Nagel nicht beurteilen. Mit Blick auf die Konkurrenz aus dem Ausland sagt er aber: "Ich glaube, dass wir mit anderen Fördermechanismen ähnlich gut sein können. Die Garantie, dass wir gleich gut sind, kann Ihnen aber niemand geben."

Ein weiter Weg zum Businessmodell

Klar ist, dass sich etwas tun muss, damit Deutschland und Europa in der Zukunftstechnologie KI nicht weiter abgehängt werden. Das gilt generell für die heimische KI-Branche und speziell für die großen Sprachmodelle. Eine, die sich mit dem Thema auskennt wie wenige andere, ist Feiyu Xu. Xu war führende KI-Expertin für die Tech-Riesen Lenovo und SAP. Das deutsche Open GPT-X ist für sie im globalen Kontext allenfalls eine Randnotiz. Es sei bislang eben nur ein Forschungsprojekt, so Xu. Von dort zu einer Firma mit eigenem Businessmodell sie "es ein weiter Weg. Das kann man nicht mit Open AI oder DeepSeek vergleichen." Allerdings sei es nie zu spät, um besser und innovativer zu sein. Das chinesische DeepSeek habe schließlich gezeigt, dass man trotz begrenzter Ressourcen mit einem kleinen, jungen und ambitionierten Team besser sein könne als die amerikanische Konkurrenz. Aber dafür braucht es auch ein Umfeld, das diese Entwicklungen ermöglicht.

Es geht ums Überleben

Ein solches Öko-System gibt es momentan aber weder in Deutschland noch in Europa. Hiesige Projekte sind also auf die digitale Infrastruktur in den USA angewiesen. Chips, sogenannte Hyperscaler für Cloud- und Rechenkapazitäten, Plattformen für das KI-Training – von all dem gebe es in Europa zu wenig, sagt Xu. "Wir können ja nicht die Hyperscaler in den USA nehmen für unsere digitale Infrastruktur". Denn wenn die Amerikaner Europa von heute auf morgen abschalteten, "sind wir verloren". Die Erfahrungen mit der Trump-Regierung hätten ganz deutlich gezeigt, dass Europa unabhängiger werden müsse, sagt Xu und schließt: "Es geht ums Überleben".

Haftungsausschluss: Das Urheberrecht dieses Artikels liegt bei seinem ursprünglichen Autor. Der Zweck dieses Artikels besteht in der erneuten Veröffentlichung zu ausschließlich Informationszwecken und stellt keine Anlageberatung dar. Sollten dennoch Verstöße vorliegen, nehmen Sie bitte umgehend Kontakt mit uns auf. Korrektur Oder wir werden Maßnahmen zur Löschung ergreifen. Danke