Diskussion zu: News des 3. April 2024

[Leonidas]

Link zur News:
https://www.3dcenter.org/news/news-des-3-april-2024

[Gast]

Gegenüber dem bisherigen Ansatz in Form der KI-Berechnung in der Cloud gibt es in jedem Fall keine Akku-Schonung, nur die bessere Latenz würde zutreffen.

Könnte es durchaus geben, insbesondere wenn die Internetverbindung eine Kabellose ist, könnte die effiziente lokale Berechnung per NPU durchaus sparsamer sein, als der anfallende Datenverkehr von und zur Cloud.

[Complicated]

Die grundsätzliche Frage, ob man die von Microsoft vorgegebenen 40 TOPs überhaupt benötigt werden bzw. was deren Nichterfüllung für Auswirkungen hat, ist derzeit nicht zu beantworten. Sofern Microsoft die KI-Funktionalität nicht gerade abriegelt, wenn jene 40 TOPs nicht zur Verfügung stehen, könnte der Copilot einfach etwas mehr Zeit zum "überlegen" benötigen – woran sich die Nebenfrage anschließt, ob es sich um Sekunden oder nur Millisekunden handelt. Alternativ könnte Microsoft bei unzureichender lokaler Rechenleistung die KI-Berechnung auch wie bisher in der Cloud vornehmen. In der Summe ist derzeit unklar, was genau diese 40 TOPs erreichen können sollen – welchen Vorteil der Anwender davon hat, jene in seinem Rechner zu haben. Gut denkbar, dass die realen Vorteile marginaler Natur sind und dass ganze nur dazu dient, den Werbebegriff "KI-PC" technisch zu untermauern.
Hier sind in erster Linie die ganzen Office-Geräte für Firmenkunden gemeint. Bei KI Tasks in Office immer wieder 3 Sekunden warten verhindert die breite Nutzung des Co-Pilot in Office und damit den Willen die Lizenzen zu erwerben für Mitarbeiter. Diskrete GPUs stehen oft nicht zur Verfügung in den 15W TDP Geräten.

Ob dann der Sprung direkt auf KI-PCs mit entsprechendem Aufpreis für die Hardware wiederum Begeisterung auslöst bei den Firmenkunden, wage ich zu bezweifeln.

[Leonidas]

Ist ein guter Gedanke. Mal schauen, ob das Angebot in diese Richtung geht - oder ob es wieder massenwirksame Medienkampagnen für Otto Normalverbraucher gibt.

[Complicated]

In den Unternehmen sind sie sehr aggressiv derzeit und pushen auf Evaluierung und versuchen Co-Pilot-Lizenzen an den Mann zu bringen. Zumindest habe ich jetzt Testphasen mit wenig Begeisterung auf 15W TDP HP-Geräten gesehen.
Da waren so Sachen wie Powerpoint-Präsentationen oder Word Dokumente erstellen und Transcripte/Zusammenfassungen aus Teams-Besprechungen dabei - es wirft viele Compliance-Fragen auf, wie Genehmigungen der Teilnehmer wegen Datenschutz für Transscripte, Sichtbarkeit/Hinweis wenn KI mitschreibt in Besprechungen etc...
Wo werden die Inhalte der Dokumente verarbeitet und werden vertrauliche interne Texte für Training der KI genutzt - wer hat danach Zugriff auf diese Daten?
Alle oder nur das Unternehmen...

[OpenVMSwartoll]

In den Unternehmen sind sie sehr aggressiv derzeit und pushen auf Evaluierung und versuchen Co-Pilot-Lizenzen an den Mann zu bringen. Zumindest habe ich jetzt Testphasen mit wenig Begeisterung auf 15W TDP HP-Geräten gesehen.
Da waren so Sachen wie Powerpoint-Präsentationen oder Word Dokumente erstellen und Transcripte/Zusammenfassungen aus Teams-Besprechungen dabei - es wirft viele Compliance-Fragen auf, wie Genehmigungen der Teilnehmer wegen Datenschutz für Transscripte, Sichtbarkeit/Hinweis wenn KI mitschreibt in Besprechungen etc...
Wo werden die Inhalte der Dokumente verarbeitet und werden vertrauliche interne Texte für Training der KI genutzt - wer hat danach Zugriff auf diese Daten?
Alle oder nur das Unternehmen...

Naja, Du stellst die Fragen, deren Antworten Du kennst: Microsoft hat.

Und wieder ein wahrgewordener Überwachungstraum...

[Lehdro]

Das DSGVO gibt es nicht ohne Grund. Der Einsatz von Co Pilot wird damit zumindest für bestimmte Anwendungen erst einmal schwierig, wenn man auf der rechtlich sicheren Seite bleiben will. Mal ganz abgesehen davon dass nicht jedes Unternehmen einfach so seine Daten hergeben will, auch wenn es keine rechtlichen Bedenken gäbe.

[OpenVMSwartoll]

Das DSGVO gibt es nicht ohne Grund. Der Einsatz von Co Pilot wird damit zumindest für bestimmte Anwendungen erst einmal schwierig, wenn man auf der rechtlich sicheren Seite bleiben will. Mal ganz abgesehen davon dass nicht jedes Unternehmen einfach so seine Daten hergeben will, auch wenn es keine rechtlichen Bedenken gäbe.

Das hat die Leute schon von Office 365 nicht abgehalten, die EU-Kommission hat bereits die gelbe Karte erhalten.

Weil die, die entscheiden wollen, leider nicht verstehen wollen.

Ein Thema, das Zensursula stetig begleitet.

[Lehdro]

Der Unterschied: Du kannst Office auch offline nutzen, Co Pilot aber nicht. Ist also eine ganze Nummer einfacher zu verstehen was da passiert. Vielleicht klingelts ja bei einigen jetzt.

[Complicated]

Naja, Du stellst die Fragen, deren Antworten Du kennst: Microsoft hat.
Man kann sich mit einem Lizenz-Upgrade frei kaufen und die Trainingsdaten onPremise selber verwalten - Da dreht sich gerade eine Logik um. Man bezahlt dafür, dass man die Arbeit und Hardware zusätzlich selber bereit stellen muss.
Die wollen praktisch Geld dafür, deine Daten nicht zu nutzen :freak:
Nicht jedem Unternehmenskunden ist diese Umkehr von "Lizenzierung" vermittelbar. Es verdient nicht mehr der mit den Daten, sondern derjenige der die Finger davon lassen soll. Kommt mir irgendwie bekannt vor das Geschäftsmodell....das bekommt hier gerade eine legale Form.

[OpenVMSwartoll]

Man kann sich mit einem Lizenz-Upgrade frei kaufen und die Trainingsdaten onPremise selber verwalten - Da dreht sich gerade eine Logik um. Man bezahlt dafür, dass man die Arbeit und Hardware zusätzlich selber bereit stellen muss.
Die wollen praktisch Geld dafür, deine Daten nicht zu nutzen :freak:
Nicht jedem Unternehmenskunden ist diese Umkehr von "Lizenzierung" vermittelbar. Es verdient nicht mehr der mit den Daten, sondern derjenige der die Finger davon lassen soll. Kommt mir irgendwie bekannt vor das Geschäftsmodell....das bekommt hier gerade eine legale Form.

Das ist eine interessante Variante der Schutzgelderpressung.

Und wer überwacht den realen Datenverkehr, nachdem er den Ablass entrichtet hat?

[Darkman.X]

Andere mögliche Suffix lauten somit (wie üblich) auf HX, P, U, K, KF, etc, dies gilt auch für Arrow Lake selber.

Soweit ich die Intel-Datenblätter z.B. bei der 13th und 14th-Gen verstanden habe, sind K und KF keine echten Intel-Suffixe bzw. nur Verkaufsnamenssuffixe. Diese CPUs (und auch die ohne K) laufen als "S"-CPUs. Und dann gibt es zusätzlich auch die E, P, H, U, HX und PX-CPUs.

https://edc.intel.com/content/www/us/en/design/products/platforms/details/raptor-lake-s/13th-generation-core-processors-datasheet-volume-1-of-2/


EDIT:
Vielleicht habe ich das mit den Suffixen in der News auch falsch verstanden. Es gibt halt die unterschiedlichen Suffixe: Suffixe im Verkaufsnamen (z.B. auch "T" oder "F"), und Suffixe, die intern bei Intel benutzt werden, da gibt es kein K, KF, KS, T oder F.

[Leonidas]

Soweit ich die Intel-Datenblätter z.B. bei der 13th und 14th-Gen verstanden habe, sind K und KF keine echten Intel-Suffixe bzw. nur Verkaufsnamenssuffixe.

Hast Recht, es existieren diese beiden Ebenen. Und manchmal sind die Namen dann jeweils gleich. Ich meinte die Ebene der Verkaufsnamen. Aber der H-Suffix existiert sowohl als Prozessoren-Die als auch als Verkaufsname.

[Lehdro]

Man kann sich mit einem Lizenz-Upgrade frei kaufen und die Trainingsdaten onPremise selber verwalten - Da dreht sich gerade eine Logik um. Man bezahlt dafür, dass man die Arbeit und Hardware zusätzlich selber bereit stellen muss.
Die wollen praktisch Geld dafür, deine Daten nicht zu nutzen :freak:
Nicht jedem Unternehmenskunden ist diese Umkehr von "Lizenzierung" vermittelbar. Es verdient nicht mehr der mit den Daten, sondern derjenige der die Finger davon lassen soll. Kommt mir irgendwie bekannt vor das Geschäftsmodell....das bekommt hier gerade eine legale Form.
Man kann das auch verdrehen: Du bezahlst im Endeffekt eine Lizenz dafür dass die Daten mithilfe von M$ Technik verarbeitet werden. Es kostet halt mehr wenn das Lokal passiert, weil keine "Big Data Effekte" (oder anderes Buzzword deiner Wahl) mit eingepreist werden.

Anderes Beispiel: Jegliche Software bei der das Offline Standalone teurer ist als das Online (Web/Cloud) Modell. Gibt es öfter als man denkt.

[Complicated]

Der Unterschied ist dass M$ meine Daten hier verwendet um sein Produkt zu verbessern.
Ohne Daten ist eine KI nutzlos. Die Wertschöpfung bei M$ findet in den anderen von dir genannten Produkten nicht statt, während der Verarbeitung. Egal ob Offline oder Online.

Ich denke schon, das Unterscheidet sich in diesem Detail:
Verlage erhalten Geld für Datennutzung der KI gemäß Leistungsschutzrecht, Unternehmen bezahlen die fehlende Wertschöpfung bei onPremise-Lösungen mit zusätzlichen Lizenzkosten.

[Lehdro]

Nur: Niemand zwingt sie diese KI zu nutzen, egal in welcher Form. Das fällt da bei dir irgendwie unter den Tisch. Wenn sich das lohnt, ist die Rechnung doch klar, ansonsten lässt man es halt. Die Wertschöpfung entsteht also sehr wohl durch M$, weil KI abstrahiert auch nur eine Software ist: Daten rein -> Daten raus. Wenn die KI Sachen vereinfachen oder gar beschleunigen kann, ist das sehr wohl eine Wertschöpfung, oder willst du das jetzt ernsthaft in Frage stellen? Oo

Betrachte die KI doch einfach als eine Art Unternehmensberater. Die gibt es auch inhouse (https://de.wikipedia.org/wiki/Inhouse_Consulting) (=offline) und extern (=Cloud). Ich sehe die Aufregung überhaupt nicht. Die freie Wahl bleibt doch jedem: Ob intern, extern oder gar keine Datenverarbeitung. Preispunkte unterliegen der Wahl des Anbieters. M$ wird da auch nicht lange der einzige Anbieter bleiben.

[Leonidas]

Eigentlich darf man so etwas (als Unternehmen) nur machen, wenn die KI zu 100% lokal betrieben wird (nicht lokal berechnet, lokal betrieben). Einmal gekauft mit lebenslanger Lizenz und vorhandenen Trainingsdaten. Danach wird das ganze rein intern genutzt, rein lesender Zugriff aufs Internet.

Erst in diesem Modus kann man das Ding auf Firmendokumente loslassen. Vorher geht das überhaupt nicht, weil ansonsten in den Trainings-Daten automatisch interna landen. Müssen gar keine Geschäftsgeheimnisse sein, aber dennoch genügend internes. Sobald die KI nach außen kommunizieren darf oder die Daten in einen Trainings-Pools des Anbieters fliessen, isses Essig. Denn mit der richtigen Suchanfrage liesst dann die Konkurrenz die ganzen Interna mit. KI im Unternehmen geht nur unter 100% Kontrolle des Unternehmens. Es sei denn es handelt sich rein um Kundendaten, die sind natürlich wurscht (bis auf den gesetzlichen Datenschutz, aber dass läßt sich schon deichseln).

[OpenVMSwartoll]

Nur: Niemand zwingt sie diese KI zu nutzen, egal in welcher Form. Das fällt da bei dir irgendwie unter den Tisch. Wenn sich das lohnt, ist die Rechnung doch klar, ansonsten lässt man es halt. Die Wertschöpfung entsteht also sehr wohl durch M$, weil KI abstrahiert auch nur eine Software ist: Daten rein -> Daten raus. Wenn die KI Sachen vereinfachen oder gar beschleunigen kann, ist das sehr wohl eine Wertschöpfung, oder willst du das jetzt ernsthaft in Frage stellen? Oo

Betrachte die KI doch einfach als eine Art Unternehmensberater. Die gibt es auch inhouse (https://de.wikipedia.org/wiki/Inhouse_Consulting) (=offline) und extern (=Cloud). Ich sehe die Aufregung überhaupt nicht. Die freie Wahl bleibt doch jedem: Ob intern, extern oder gar keine Datenverarbeitung. Preispunkte unterliegen der Wahl des Anbieters. M$ wird da auch nicht lange der einzige Anbieter bleiben.

Sobald die KI ein NDA unterzeichnet, kann ich sie als Berater wahrnehmen.

Nur dass sie nicht berät, stattdessen rät sie gern.

Und ich bin zum Glück nicht mehr für dutzende Kunden aktiv, aber habe zu viele "Entscheider" erlebt, die technische und rechtliche Implikationen schlicht nicht durchdringen wollten. Dafür aber alle Schlagworte liebten, die gerade beliebt waren.

Auf kleiner Ebene bereits beginnend mit "ich MUSS jetzt in das Postfach von User XY schauen", das noch als interner Mitarbeiter im Hauptsitz eines Unternehmens.

[Complicated]

Die Wertschöpfung entsteht also sehr wohl durch M$, weil KI abstrahiert auch nur eine Software ist: Daten rein -> Daten raus.
Ich glaube diese Sichtweise ist zu kurz gedacht. Es ist nicht nur Software, denn die Daten die rein gehen, bleiben dort und gehen nicht wieder raus. Sie stehen anderen zur Verfügung. Was Leonidas schreibt ist die daraus resultierende Erkenntnis, die viele Unternehmen jetzt auf Machbarkeit und Gesamtkosten prüfen:
Eigentlich darf man so etwas (als Unternehmen) nur machen, wenn die KI zu 100% lokal betrieben wird (nicht lokal berechnet, lokal betrieben). Einmal gekauft mit lebenslanger Lizenz und vorhandenen Trainingsdaten. Danach wird das ganze rein intern genutzt, rein lesender Zugriff aufs Internet.

Doch diese Vorgehensweise führt zwangsläufig zu einer Fragmentierung von KI. Es entstehen KI-Spezialisten für bestimmte Unternehmen, bestimmte Arbeiten und Prozesse. Die Unternehmen, die sich jetzt mit der Strukturierung ihrer Daten beschäftigen und Datenkataloge erschaffen sind auf dem richtigen Weg. Daraus entstehende Datenprodukte lassen sich sowohl intern als auch extern zur Wertschöpfung nutzen.

Die Fragmentierung führt allerdings auf der anderen Seite dazu, dass diese unternehmerischen KI-Enklaven sehr schnell veraltete sind in der Verarbeitungsgeschwindigkeit oder den Möglichkeiten der KI-Skills - die Daten sind gesichert, doch der Konkurrent hat die bessere KI im Einsatz. Was tun in diesem Fall?
Also wer heute nicht schon daran denkt, dass er seine KI in regelmäßigen Abständen ersetzen werden muss oder ergänzen mit weiteren KI-Spezialisten kommt irgendwann in eine Sackgasse.
Je früher meine Daten aber strukturiert sind, desto weniger KI ist nötig. Diese Struktur ist der eigentliche Wert in Daten. Was ich brauche finde ich auf Anhieb in einem Datenkatalog und kaufe mir die fehlenden Elemente gezielt ein (intern oder extern)

[Lehdro]

Ich glaube diese Sichtweise ist zu kurz gedacht. Es ist nicht nur Software, denn die Daten die rein gehen, bleiben dort und gehen nicht wieder raus. Sie stehen anderen zur Verfügung.
Das trifft übrigens nicht auf jede KI zu, ist also maximal für spezifische KIs korrekt. Es gibt KIs, die dem einmal trainiertem Datensatz nichts mehr hinzufügen, aber trotzdem online laufen, genauso gibt es welche die im laufendem Betrieb "dazulernen". Ebenso gibt es welche die zentral, in regelmäßigen Abständen, neue Datensätze hinzugefügt bekommen. KIs jeder Art prinzipiell als löchrige Datenschleudern zu verurteilen ist viel zu kurz gedacht. Da gibt es schon heftige konzeptionelle Unterschiede untereinander.

Sobald die KI ein NDA unterzeichnet, kann ich sie als Berater wahrnehmen.

Nur dass sie nicht berät, stattdessen rät sie gern.

Ich wollte jetzt einen Witz über Unternehmensberater machen, aber du hast dem ja schon vorgegriffen. Also stimmt es doch: KI = UnternehmensbeRATER :freak:

[Complicated]

Das trifft übrigens nicht auf jede KI zu, ist also maximal für spezifische KIs korrekt. Es gibt KIs, die dem einmal trainiertem Datensatz nichts mehr hinzufügen, aber trotzdem online laufen, genauso gibt es welche die im laufendem Betrieb "dazulernen". Ebenso gibt es welche die zentral, in regelmäßigen Abständen, neue Datensätze hinzugefügt bekommen. KIs jeder Art prinzipiell als löchrige Datenschleudern zu verurteilen ist viel zu kurz gedacht. Da gibt es schon heftige konzeptionelle Unterschiede untereinander. :freak:
Das was du beschreibst ist ja das, was ich Datenkatalog mit strukturierten Daten nenne. Das hat mit KI nicht mehr viel zu tun, sondern ist eher Machine Learning und weiter nichts als Statistik am Ende.
Wenn ich KI schreibe meine ich das arbeiten mit unstrukturierten Daten, wo es keine Datensätze gibt.
Ja, da muss man schon das Konzept definieren über das man miteinander spricht, das wird leider viel zu häufig vermengt.

[OpenVMSwartoll]

[...]

Ich wollte jetzt einen Witz über Unternehmensberater machen, aber du hast dem ja schon vorgegriffen. Also stimmt es doch: KI = UnternehmensbeRATER :freak:

Scheint fast, als hätten wir ähnliche Erfahrungen gemacht. 😄

[Lehdro]

Das was du beschreibst ist ja das, was ich Datenkatalog mit strukturierten Daten nenne. Das hat mit KI nicht mehr viel zu tun, sondern ist eher Machine Learning und weiter nichts als Statistik am Ende.
Wenn ich KI schreibe meine ich das arbeiten mit unstrukturierten Daten, wo es keine Datensätze gibt.
Ja, da muss man schon das Konzept definieren über das man miteinander spricht, das wird leider viel zu häufig vermengt.
ML und KI wird zu häufig begrifflich zusammengeschmissen (auch seitens der Anbieter), das stimmt. Aber trotzdem kann eine KI durchaus "offline" arbeiten, an der Aussage ändert sich nichts.

Scheint fast, als hätten wir ähnliche Erfahrungen gemacht. 😄
Leider.