Am 16. Juli hat das Beijinger Unternehmen Moonshot AI seine nächste Modellgeneration mit dem Namen „Kimi K3“ veröffentlicht. Mit 2,8 Billionen Parametern ist es derzeit das weltweit größte Open-Source-LLM, gemessen an der Parameteranzahl.

Kimi K3 unterstützt nativ visuelles Verständnis und verfügt über ein Kontextfenster von einer Million Token. Es ist für komplexe Aufgabenszenarien wie Software Engineering, Wissensarbeit, Tiefenforschung und multimodales Verständnis optimiert und verbessert damit die Fähigkeit großer Sprachmodelle zur Bewältigung komplexer Aufgaben erheblich. In Evaluierungen zeigt Kimi K3 ein Gesamtintelligenzniveau, das nahe an den weltweit führenden Closed-Source-LLMs liegt.

Visuelle Darstellung der Marke Kimi K3

Beim Training von Kimi K3, dem Basismodell der neuen Generation, nutzte das Unternehmen eine selbst entwickelte zugrundeliegende Modellarchitektur und erarbeitete sich eine vollständige, wissenschaftlich fundierte Methodik für das Modelltraining. Durch Optimierungen in den Bereichen Modellstruktur, Trainingsmethoden und Datenrezepturen verbesserte sich die Gesamtskalierungseffizienz von Kimi K3 im Vergleich zur Vorgängergeneration um etwa das 2,5-Fache, was dazu beiträgt, die Effizienz der Umwandlung von Rechenleistung in Modellfähigkeiten weiter zu steigern.

Moonshot AI gab bekannt, dass die vollständigen Modellgewichte in Kürze veröffentlicht werden. Details zu Modellarchitektur, Training und Details der Evaluierung werden im technischen Bericht des Modells nach und nach bekanntgegeben.

(Inhaltsquelle: Xinhuanet)