Blog

Aug 29, 2023

Der Nvidia H100-Chip ist der weltweit meistgesuchte

Heutzutage scheint jeder die H100-Chips von Nvidia in die Hände bekommen zu wollen. Zu den größten Kunden gehören Microsoft und Google, die generative KI-gesteuerte Suchmaschinen entwickeln

Heutzutage scheint jeder die H100-Chips von Nvidia in die Hände bekommen zu wollen.

Microsoft und Google, die generative KI-gesteuerte Suchmaschinen entwickeln, gehören zu den größten Kunden der H100-Chips von Nvidia. Serverhersteller behaupten, mehr als sechs Monate auf den Erhalt ihrer letzten Bestellungen gewartet zu haben. Risikokapitalinvestoren kaufen H100-Chips für die Startups auf, in die sie investieren.

Aber nicht nur Technologieunternehmen sind auf der Suche nach H100s: Saudi-Arabien und die Vereinigten Arabischen Emirate haben sich Berichten zufolge Tausende dieser 40.000-Dollar-Chips geschnappt, um ihre eigenen KI-Anwendungen zu entwickeln, so die Financial Times, die sich auf ungenannte Quellen berief.

Diese starke Nachfrage nach einem Chip von einem Unternehmen hat zu einer Art Kaufrausch geführt. „Wer wann wie viele H100 bekommt, ist das Top-Gerücht“, wie es Andrej Karpathy von OpenAI in einem Twitter-Beitrag formulierte.

Sogar Elon Musk fand trotz seiner Besessenheit, Mark Zuckerberg zu bekämpfen, Zeit, sich zur Knappheit der Nvidia-Chips zu äußern. (Musk verrät nicht, ob er sich auf H100-Chips bezieht, die letztes Jahr auf den Markt kamen, oder auf die Chips von Nvidia im Allgemeinen. Aber Chips für KI liegen derzeit auf jeden Fall voll im Trend.) Musks Tesla gibt 1 Milliarde US-Dollar aus, um einen neuen Supercomputer namens Dojo zu bauen , um seine Flotte autonomer Fahrzeuge zu trainieren und die Daten daraus zu verarbeiten. Der Dojo-Plan begann, sagte Musk, nur, weil Tesla nicht genug hatte Nvidia-GPUs – Grafikprozessoren, wie diese Chips genannt werden. „Ehrlich gesagt … wenn sie uns genügend GPUs liefern könnten, bräuchten wir Dojo vielleicht nicht“, sagte Musk Investoren und Analysten bei einer Telefonkonferenz im Juli. „Sie haben so viele Kunden. Sie waren jedoch so freundlich, einige unserer GPU-Bestellungen zu priorisieren.“

Wenn Tesla in der Lage gewesen wäre, die benötigte Anzahl an Chips von Nvidia zu erhalten, wären diese Chips in spezialisierte Computer geflossen, die die riesigen Mengen an Videodaten trainieren würden, die laut Musk erforderlich sind, um eine „allgemeine Lösung für Autonomie“ zu erreichen. ”

Die Daten müssen irgendwie verarbeitet werden. Daher ist Dojo so konzipiert, dass es für Videotraining und nicht für generative KI-Systeme optimiert ist, um die Datenmenge zu verarbeiten, die für selbstfahrende Fahrzeuge benötigt wird, sagte Musk, was wichtig ist, um autonomes Fahren zu erreichen, das sicherer ist als menschliches Fahren.

Große Sprachmodelle (LLMs) werden auf riesigen Datenmengen trainiert, um komplexe Antworten auf Fragen zu generieren. Doch die Integration von LLMs in reale Anwendungen wie Suchmaschinen erfordert viel Rechenleistung.

In einer Studie haben Forscher der University of Washington und der University of Sydney die hohen Kosten für die Durchführung von LLMs aufgeschlüsselt. Google verarbeitet über 99.000 Suchanfragen pro Sekunde. Wenn GPT-3 in jede Abfrage eingebettet würde und davon ausgegangen wird, dass jede Abfrage 500 Token generiert, bei denen es sich um Objekte handelt, die das Recht zur Ausführung einer Operation darstellen, müsste Google etwa 2,7 Milliarden A100-GPUs – einen älteren Nvidia-KI-Chip – behalten hoch. Die Kosten für diese GPUs würden allein durch die Investitionsausgaben 40 Milliarden US-Dollar übersteigen, schätzten die Forscher.

„Was Google und andere Unternehmen brauchen, ist ein leistungsstärkerer Chip, der bei gleichem oder niedrigerem Preis eine bessere Leistung erbringt“, sagte Willy Shih, Professor für Managementpraxis an der Harvard Business School und zuvor bei IBM und Silicon Valley Graphics tätig. Betreten Sie den Nvidia H100, benannt nach der Informatikerin Grace Hopper. Der H100 ist auf generative KI zugeschnitten und läuft schneller als Vorgängermodelle. Je leistungsfähiger die Chips seien, desto schneller könne man Anfragen verarbeiten, sagte Shih.

Die Nachfrage nach leistungsstarken KI-Chips war ein Segen für Nvidia, das – zum Teil aus Glück – den Markt beherrscht, während die Konkurrenz darum kämpft, aufzuholen.

Während Start-ups im Bereich der generativen KI an der Skalierung arbeiten und dabei feststellen, dass ihnen die H100-Chips ausgehen, bietet sich für Wettbewerber – wie Amazon und Google, die an der Entwicklung ihrer eigenen Nvidia-ähnlichen Chips arbeiten – die Chance, sich dieser Herausforderung zu stellen. Die Chips von Amazon heißen Inferentia und Tranium; Googles sind Tensor-Verarbeitungseinheiten.

„Es ist eine Sache, Zugang zur Infrastruktur zu bekommen. Aber es ist eine andere Sache, wenn Sie beispielsweise die Anwendung skalieren möchten und dann plötzlich feststellen, dass nicht genügend Kapazität verfügbar ist“, sagte Arun Chandrasekaran, ein Gartner-Analyst, der sich auf Cloud und KI konzentriert. „Ich denke also, dass es einige Zeit dauern wird, bis sich diese Herausforderungen ausgleichen.“

Unser kostenloses, schnelles und unterhaltsames Briefing zur Weltwirtschaft, das jeden Wochentagmorgen geliefert wird.