Der am schnellsten wachsende Kostenfaktor im Bereich der künstlichen Intelligenz sind möglicherweise nicht Chips, sondern der Strom, der sie speist. Am 12. Oktober gab die University of Michigan bekannt, dass NVIDIA, das weltweit führende KI-Computing-Unternehmen, prüft, wie Megatron-LM, NVIDIAs weit verbreitete Open-Source-Plattform zum Training großer Sprachmodelle, um zwei energiesparende U-M-Tools erweitert werden kann. Nach Angaben der Universität kann die Software den Energiebedarf für das KI-Training um bis zu 50 % senken – ohne Auswirkungen auf die Trainingsgeschwindigkeit oder die Modellleistung.
Die Nachrichten sind weit über die Veröffentlichungsbilanz eines Labors hinaus von Bedeutung. Megatron-LM ist keine Nischen-Forschungscodebasis: Unternehmen können es direkt oder als Grundlage für ihre eigenen privaten, maßgeschneiderten Trainingsplattformen verwenden, und es ist die Plattform, die zum Trainieren von NVIDIAs Flaggschiff-Nemotron-Modellen verwendet wird, die Benutzer auf ihre eigene Hardware herunterladen können. Wenn die U-M-Tools es in Megatron-LM schaffen, würden sich die in einem akademischen Labor entwickelten Effizienzverbesserungen auf einen großen Teil der weltweiten KI-Trainingsläufe auswirken. Um fortlaufend über den Infrastrukturwettlauf hinter der KI zu berichten, verfolgen Sie die neuesten KI-Entwicklungen auf unserer Homepage.
Was Kareus und Perseus tatsächlich tun
Die beiden Tools greifen unterschiedliche Verschwendungsquellen bei verteilten Schulungen und deren Einsparungen an.
Perseus: Prozessorgeschwindigkeit verwalten
Perseus bekämpft übermäßig bereitgestellte Rechenleistung. Bei einem großen Trainingslauf leistet nicht jeder Prozessor zu jedem Zeitpunkt nützliche Arbeit, dennoch verbrauchen alle Prozessoren Strom. Durch die Steuerung der Prozessorgeschwindigkeit, um sie an die tatsächlich verfügbare Arbeit an jedem Punkt des Trainings anzupassen, reduziert Perseus laut U-M den Energieaufwand für das Training der KI um bis zu 30 %.
Kareus: Intelligenteres Timing für Rechenleistung und Kommunikation
Kareus zielt auf ein subtileres Problem ab. Das Training moderner Modelle erfordert die Koordination von Hunderten bis Tausenden von Prozessoren, und die Arbeit teilt sich zwischen Berechnung und Chip-zu-Chip-Kommunikation auf. Kareus reduziert den Trainingsaufwand um weitere 15 bis 30 %, indem es das effizienteste Timing und die effizienteste Ressourcenaufteilung zwischen diesen Trainings- und Kommunikationsaufgaben findet – und jede Aufgabe so plant, dass keine untätig auf die andere wartet.
Zusammen, so die Universität, können die Tools etwa die Hälfte der für das Training der KI aufgewendeten Energie einsparen und gleichzeitig die gleiche Trainingsgeschwindigkeit und endgültige Modellleistung liefern. Kareus ist auch ein von Experten begutachtetes Ergebnis: Das Tool wurde im Juli auf dem USENIX Symposium on Operating Systems Design and Implementation (OSDI) vorgestellt, einem der wichtigsten Veranstaltungsorte für Systemforschung.
Warum das Interesse von NVIDIA die wahre Geschichte ist
Der akademischen Effizienzforschung steht in der Regel ein langer Weg bis zur Produktion bevor. Dieser kann aufgrund der Landung anders sein. Ein Doktorand, Ruofan Wu, verbrachte den vergangenen Sommer bei NVIDIA damit, die U-M-Software im Rahmen eines Praktikums in Megatron-LM zu integrieren. Das bedeutet, dass es sich bei den Tools nicht um einen Vorschlag, sondern um Arbeitscode innerhalb des Trainingsstacks von NVIDIA handelt, der derzeit offiziell evaluiert wird.
„Da die Modelle immer größer werden und immer mehr Menschen Modelle trainieren möchten, wird die Leistung der KI eingeschränkt, aber wir können die gleiche Trainingsgeschwindigkeit und Leistung mit weniger Energie erreichen“, sagte Wu, ein Doktorand der Informatik und Ingenieurwissenschaften an der U-M, in der Ankündigung der Universität. „Es gibt viele Möglichkeiten, den KI-Energieverbrauch auf Software- und Hardwareebene zu optimieren, und einer der lohnendsten Teile des Praktikums war die Gelegenheit, Ideen aus meiner Forschung in Produktionssysteme einzubringen“, fügte sie hinzu.
Dieses Wort – „power-constrained“ – ist das neue Schlagwort der Branche. Das U-M-Forschungsteam, zu dem auch die Doktoranden Jeff Ma und Jae-Won Chung sowie der außerordentliche Professor Mosharaf Chowdhury gehören, arbeitet mit NVIDIA an der Integration. Der Rahmen des Teams ist klar: Das Ziel besteht darin, der KI mehr nützliche Arbeit bei weniger Energie und Kosten zu ermöglichen, indem der effizienteste Weg gefunden wird, das Training auf Hunderten bis Tausenden von Prozessoren zu koordinieren.
Energie ist heute eine erstklassige Einschränkung
Der Umfang des Grenztrainings ist es, der prozentuale Einsparungen in strategische Zahlen umwandelt. Meta gab diese Woche bekannt, dass seine neuen Muse Wonder-Modelle bei Prometheus trainiert wurden, das es als Rechenzentrum im Gigawatt-Maßstab bezeichnet. Wenn eine einzelne Trainingskampagne in dieser Größenordnung läuft, ist eine prozentuale Energiereduzierung kein Rundungsfehler; Es ist der Unterschied, ob ein Trainingslauf in ein Leistungsbudget passt oder nicht.
Die Ökonomie folgt der Physik. Energie ist zu einer der Schlüsselressourcen für die KI-Erweiterung geworden. Eine Software, die die Stromrechnung eines Trainingslaufs halbiert – unter Verwendung vorhandener Hardware – verändert die Kalkulation für jedes Unternehmen, das seine eigenen Modelle trainiert, und insbesondere für kleinere Akteure, für die die Energiekosten die verbindliche Einschränkung darstellen.
Es gibt auch der Umweltdebatte rund um KI einen neuen Rahmen. Ein Großteil der öffentlichen Diskussion konzentrierte sich auf die Inferenzenergie – die Energie, die jede Chatbot-Anfrage verbraucht. Aber im Training konzentrieren sich die größten einzelnen Energieblöcke, und ein peer-reviewter, herstellerunabhängiger Software-Ansatz, der diese um bis zur Hälfte reduziert, bietet etwas Selteneres als eine Hardware-Roadmap: Effizienzgewinne, die mit der nächsten Open-Source-Version und nicht mit dem nächsten Aufbau des Rechenzentrums erzielt werden können.
Was als nächstes passiert
Nach Angaben der Universität prüft NVIDIA derzeit, wie die Software zu seiner Open-Source-Schulungsplattform hinzugefügt werden kann. Wenn es in Megatron-LM ausgeliefert wird, könnte sich die Akzeptanz schnell verbreiten, wenn man bedenkt, wie weit verbreitet das Framework in der Industrie und in der Wissenschaft eingesetzt wird. Das umfassendere Forschungsprogramm des U-M-Teams sucht weiterhin nach Energieeinsparungen im gesamten Software- und Hardware-Stack – eine Agenda, die vor ein paar Jahren noch eine Nische schien und jetzt wie das Herzstück des Spiels aussieht.
