Diskussion zu: News des 27. Februar 2024 [Archiv]

Zossel

2024-02-28, 10:34:37

Gerade weil derzeit so viel Geld in diese Richtung geworfen wird, dürften sich hiermit enorme Anreize für Entwickler von Spezial-Hardware ergeben. Selbige hat per se immer das Potential, allgemeinen Rechenbeschleunigern die Rücklichter zu zeigen – vergleichbar beispielsweise mit den ASICs zur Bitcoin-Berechnung.

Welche realistische, tragfähige und konkurenzfähige Konzepte stehen den da im Raum?

Leonidas

2024-02-28, 10:39:22

Bislang ist es auf dieser Schiene sehr ruhig. Sehr erstaunlich bei den Geldsumme, die da zu verdienen wären. Aber genau diese Geldsummen dürften irgendwann eine Bewegung auslösen.

Aroas

2024-02-28, 10:44:53

Tja, wenn die werte Kundschaft halt immer nur das Beste vom Besten will, dann müssen sie halt drauf warten und sich ggf. auch mit entsprechenden Knebelverträgen seitens des Herstellers abfinden.

Ist ja nicht so, als könnte man bei AMD nicht auch KI Beschleuniger Karten erstehen. Sogar zu deutlich geringeren Preisen afaik.
Ja, die sind nicht das Beste vom Besten in diesem Markt, aber man bekommt sie schneller, günstiger und kann dann eben auch was damit tun, statt blöd rumzuhocken und auf das Zeug von NVidia zu warten.

Also evtl. sollte die Kundschaft mal das Hirn anwerfen und darüber nachdenken, wer da letztlich tatsächlich schuld daran ist, dass solche Zustände überhaupt existieren können und sich eben kein Markt mit Konkurrenz aufbaut (bzw. extrem langsam aufbaut).

Sweepi

2024-02-28, 11:46:19

Welche realistische, tragfähige und konkurenzfähige Konzepte stehen den da im Raum?
Das im Text erwähnte GroQ (https://groq.com/) macht Inference (=Ausführen, nicht Trainieren von KI-Modellen) auf eigener Hardware (https://wow.groq.com/groqcard-accelerator/). Die Demo lohnt sich - so schnell (Metrik: Silben pro Sekunde) hat mir noch kein GPT-Chatbot geantwortet!

Leider muss zum ausprobieren ein Account erstellt werden - letzte Woche ging es noch ohne.

Mehr Infos:
Diskussion of HN: https://news.ycombinator.com/item?id=39428880#39431989

https://wow.groq.com/
https://artificialanalysis.ai/models/mixtral-8x7b-instruct

Gast

2024-02-28, 11:47:11

Welche realistische, tragfähige und konkurenzfähige Konzepte stehen den da im Raum?

Das Problem ist nicht die Hardware die ist für einen reinen AI-Beschleuniger ziemlich Straightforward.

Nvidia hat einen enormen Vorsprung beim Software-Stack um den aufzuholen braucht es Jahre, in denen Nvidia natürlich nicht stillsteht.

Gast

2024-02-28, 11:48:59

Irgendwie verständlich, dass man wenn einem die Produkte aus den Händen gerissen werden die loyalsten Kunden bevorzugt behandelt, das ist wohl das normalste der Welt.

Zossel

2024-02-28, 12:08:15

Bislang ist es auf dieser Schiene sehr ruhig. Sehr erstaunlich bei den Geldsumme, die da zu verdienen wären. Aber genau diese Geldsummen dürften irgendwann eine Bewegung auslösen.

Wenn es keine Konzepte gibt wird es dort auch in Zukunft ruhig bleiben.
Bisher konnte auch mit viel Geld der Energieerhaltungssatz nicht überwunden werden.

Zossel

2024-02-28, 12:11:16

Also evtl. sollte die Kundschaft mal das Hirn anwerfen und darüber nachdenken, wer da letztlich tatsächlich schuld daran ist, dass solche Zustände überhaupt existieren können und sich eben kein Markt mit Konkurrenz aufbaut (bzw. extrem langsam aufbaut).

Die Anwendungen der Kunden brauchen Anpassungen an non-NV Hardware, was wohl teilweise passiert.

Legendenkiller

2024-02-28, 13:09:54

Welche realistische, tragfähige und konkurenzfähige Konzepte stehen den da im Raum?

Also Google macht ihre KI schon seit Jahren mit eigenen Chips. Und ich dächte das auch Amazon, Microsoft und Apple eigenen KI-Chips haben. Die sind ebend nur nicht frei kaufbar, da sie die alle nur für sich selber benutzen.
Ende 23 hatte IBM berichtet das sie mit "Northpole" die Ki-Chips neu erfinden wollen ;-)

Also alle "großen" haben da schon konkurenzfähige Chips. Die machen da nur nicht so ein Bohei trum.
Spezialisierte Ki-Chips verkauft man nicht! Sondern man vermietet die KI die damit / darauf läuft.

Nvidia räumt halt nur den "Rest-Markt" ab, also mit allen die sich keine eigene Chips designen können. Und möglicherweiße ist das die größte Bubble ever. Natürlich nur ein wildes Grücht :freak:
PS: die Frage ist für mich wie neue Firmen mit generischer Hardware gegen Firmen mit 10 Jahren Erfahrung in eigenen Spezialchips bestehen wollen.

Exxtreme

2024-02-28, 13:34:48

Heise hat jetzt auch einen Artikel drüber:
https://www.heise.de/news/Vorwuerfe-gegen-Nvidia-Kartellartige-Strukturen-bei-GPUs-und-KI-Beschleunigern-9641413.html

Aroas

2024-02-28, 13:43:36

PS: die Frage ist für mich wie neue Firmen mit generischer Hardware gegen Firmen mit 10 Jahren Erfahrung in eigenen Spezialchips bestehen wollen.

Ganz einfache Antwort: Es kommt auf die KI an, nicht auf die Hardware.

Du kannst KI auf jedem klumpigen Consumer Prozessor laufen lassen. Dann dauert es halt entsprechend lang, bis die KI ein Ergebnis ausspuckt.
Entsprechende Spezialchips sind einfach wesentlich leistungsfähiger und effizienter, aber mehr auch nicht. Durch die Dinger wird die eigentliche KI nicht "schlauer".

Zossel

2024-02-28, 13:55:34

Entsprechende Spezialchips sind einfach wesentlich leistungsfähiger und effizienter, aber mehr auch nicht. Durch die Dinger wird die eigentliche KI nicht "schlauer".

Hexenwerk ist das auch nicht, das sind sind im wesentlichen Vektorrechner die auch "kleine" Datenformate effizient rechnen können.

Kein Schwein hatte früher Bedarf nach schnellen Floats mit 8 Bit.

The_Invisible

2024-02-28, 13:57:12

Also Google macht ihre KI schon seit Jahren mit eigenen Chips. Und ich dächte das auch Amazon, Microsoft und Apple eigenen KI-Chips haben. Die sind ebend nur nicht frei kaufbar, da sie die alle nur für sich selber benutzen.
Ende 23 hatte IBM berichtet das sie mit "Northpole" die Ki-Chips neu erfinden wollen ;-)

Also alle "großen" haben da schon konkurenzfähige Chips. Die machen da nur nicht so ein Bohei trum.
Spezialisierte Ki-Chips verkauft man nicht! Sondern man vermietet die KI die damit / darauf läuft.

Wo lassen die ihre Chips eigentlich fertigen, dachte es ist alles so am Limit. Oder benötigen die gar nicht die Highend-Fertigungsstufen?

Gast

2024-02-28, 15:31:10

Bisher konnte auch mit viel Geld der Energieerhaltungssatz nicht überwunden werden.

Das Universum hat es bereits geschafft, und das ganz ohne Geld.

Gast

2024-02-28, 15:35:58

Wo lassen die ihre Chips eigentlich fertigen,

Ich würde mal vermuten Samsung, nachdem der rest an Google-Chips auch von denen kommt.

dachte es ist alles so am Limit. Oder benötigen die gar nicht die Highend-Fertigungsstufen?

Bei spezialisierten Chips ist das jetzt tatsächlich nicht so wichtig, und vor allem eine Kostenfrage. Wenn ich mit meinen selbstdesignten Chips 20% oder 30% mehr brauche für die selbe Leistungsfähigkeit weil ich nicht die beste Fertigung habe, kann es am Ende immer noch günstiger sein, weil einerseits die Fertigung günstiger ist, und andererseits ich nicht einen anderen für die Chips bezahlen muss.

Gast

2024-02-28, 17:32:16

Zwecks Profitmaximierung versucht Nvidia die OEM auch zum Kauf von überteuerten AD102-Chips für ~9k $ zu nötigen.

"For those OEMs to win larger H100 allocation, Nvidia is pushing the L40S. Those OEMs face pressure to buy more L40S, and in turn receive better allocations of H100. This is the same game Nvidia played in PC space where laptop makers and AIB partners had to buy larger volumes of G106/G107 (mid-range and low-end GPUs) to get good allocations for the more scarce, higher margin G102/G104 (high-end and flagship GPUs)."
https://www.semianalysis.com/p/nvidias-plans-to-crush-competition

TheGood

2024-02-28, 22:37:38

Langsam habe ich das Gefphl der Betreiber hier ist auch unter dem sanften DRuck von NVidia.

Dass diese Meldungen einen nicht mehr überraschen kann, wenn man das GESchäftsgebahren von NVidia über die lezten Jahre verfolgt, ist eigentlich klar. Aber das hier dann auch noch so verklausuliert zu schreibe, finde ich schon sehr spannend.. Wo ist die weitsichtigkeit des Autors auf einmal hin oder ist man auf diesem Auge lieber blind geworden?

Leonidas

2024-02-29, 05:07:55

Langsam habe ich das Gefphl der Betreiber hier ist auch unter dem sanften DRuck von NVidia.

Wie das denn? Ich hab nichtmal Kontakt zu NV, und zwar seit Ewigkeiten nicht. Ich bin geradezu über-unabhängig, sprenge in der Frage jede Skala.

Bezüglich der vorsichtigen Schreibweise: Die hängt damit zusammen, dass dies alles Frage des *konkreten* Drucks sind. Jener kann hoch oder niedrig sein, damit ist es nicht so eindeutig wie ein klarer Vertragstext wie seinerzeit GPP mit ebenso klaren, eindeutigen Vorgaben. Ich kann also von den beiden Aussagen heraus nicht auf die Schwere des Problems schlußfolgern - im Gegensatz zum GPP, wo es klare Richtlinien mit demzufolge klaren Folgen gab. Deswegen die vorsichtige Schreibweise, die Schwere des Drucks läßt sich von außen nicht ermessen. Zudem gehe ich davon aus, dass hier eigentlich nur der typische Verhalten eines nahezu-Monopolisten beschrieben wird. Das wird überall in der Wirtschaft in ähnlicher Weise anzutreffen sein.

Badesalz

2024-02-29, 10:05:06

@TheGood
Weil du dir vom Sofa aus einen für deine Seele unterhaltsamen Rant gewünscht hast, bedeutet nicht, daß der Schreiber, dessen Gesicht dahinter steht, solchen für objektiv und seinen Ansprüchen gerecht hält.

Jemanden anzukreiden sich im Scheinwerferlicht dir nach nicht weit genug aus dem Fenster gelehnt zu haben, während du das an der Tür durch ein Guckloch verfolgst... Klingelts?

"Ich bin geradezu über-unabhängig, sprenge in der Frage jede Skala." :massa: :up:

Der_Korken

2024-02-29, 11:17:15

Dass Nvidia ihre Hardware zu Mondpreisen verkauft und teilweise noch mit anderer eigener Hardware bundelt, ist für die Kunden zwar ärgerlich, aber letztlich im Rahmen dessen, was Nvidia sich als Marktführer rausnehmen kann. Was allerdings gar nicht geht (sofern es sich bewahrheitet) ist die Drohung bestimmte Kunden nicht mehr zu beliefern bzw. bereits bezahlte Lieferungen auf unbestimmte Zeit hinauszuzögern, sofern diese sich nach Alternativen umschauen. Das ist knallhartes Ausnutzen der Marktmacht, um Konkurrenz künstlich klein zu halten.

Gast

2024-03-01, 19:13:47

Eine Floristen übertreffen sich malwieder selbst. Ich dachte, dass wenn ein Marktführer bis Monopolist Kunden bestraft, die auch bei der Konkurrenz einkaufen, dieses nach gesunden Menschenverstand kein gesunder Wettbewerb ist. Für diese Erkenntnis braucht man meines Wissen kein Jurastudium.
Das ganze passt allerding zu dem immer mehr lächerlichen Aussagen die man in diesem und anderen Foren wie von CB lesen kann. Ansich sollte es auch klar sein, dass ein Marktführer weniger und nicht wie diese Floristen behaupten mehr Rechte als die restlichen Marktteilnehmer hat. Aber Firmen wie Intel und nvidia machen es ja irgendwie immer richtig.
Genauso wenig Einleutend finde ich den Sachgrund für die Zwangskopplung von AI-Beschleuniger basierend auf Profi.-Chips mit AI Beschleuniger basierend auf Consumer-Chips.
Vielleicht keiner einer der Anwesende mir die Logik dahinter erklären.

Leonidas

2024-03-02, 03:34:44

Aber Firmen wie Intel und nvidia machen es ja irgendwie immer richtig.

Wer hat das behauptet. Es besteht ein großer Unterschied darin, jemanden das Recht hierzu zuzusprechen und dem Punkt, es anzuerkennen, dass es ein leider vergleichsweise normaler Zustand in der Wirtschaft ist.