Google bereitet angeblich einen neuen Server-Chip vor, der seine Gemini-Modelle mit geringerem Energieverbrauch ausführen soll, mit einer Effizienzsteigerung um den Faktor 6 bis 10. Die Information wurde von The Information enthüllt und von Reuters aufgegriffen. Das Unternehmen hat diese Komponente, deren interner Name Frozen v2 sein soll, noch nicht offiziell angekündigt.
Große KI-Modelle benötigen enorme Rechenkapazitäten, insbesondere bei der Generierung einer Antwort. Diese Phase, Inferenz genannt, erfordert spezialisierte Prozessoren in Rechenzentren. Ihre Kosten hängen insbesondere von der Anzahl der Anfragen, ihrer Länge und der Effizienz der Hardware ab.
Das Projekt soll darin bestehen, einen festen Teil der Funktionsweise von Gemini in das Silizium zu integrieren. Im Gegensatz zu einem sehr vielseitigen Chip kann ein derart spezialisierter Beschleuniger bestimmte Berechnungen oder Datenübertragungen vermeiden. Dadurch könnte die Energie, die zum Generieren jeder Texteinheit benötigt wird, erheblich reduziert werden.
Dieses Versprechen muss jedoch unter Vorbehalt bleiben. Die veröffentlichten Informationen beruhen auf anonymen Quellen, und Google hat weder die Architektur, die Leistung noch den verfügbaren Zeitplan im Detail dargelegt. Die in der Presse genannten Schätzungen stellen daher keine vom Unternehmen verifizierten Ergebnisse dar.
Google verfügt bereits über eigene TPUs, Chips, die für maschinelles Lernen entwickelt wurden. Frozen v2 würde sich in diese Strategie der Hardware-Integration einfügen, während der Rechenbedarf für generative KI rapide steigt. Die Herausforderung ist technischer, aber auch wirtschaftlicher Natur.
Ein für ein bestimmtes Modell optimiertes Bauteil kann sehr effizient sein, ist aber weniger flexibel als ein Allzweckprozessor. Jede größere Weiterentwicklung von Gemini könnte einen neuen Hardware-Entwurf und damit die Produktion neuer Chips erforderlich machen. Dies ist der übliche Kompromiss zwischen spezialisierter Leistung und Anpassungsfähigkeit.
Sollte dieses Projekt zustande kommen, würde sich sein Nutzen vor allem im Maßstab von Rechenzentren messen lassen. Ein geringerer Energieverbrauch pro Antwort könnte die Betriebskosten senken und Rechenkapazität für leistungsfähigere Modelle freisetzen.