Lichtfeld-Monitore - der Schritt nach Stereokopie?

[Dalai-lamer]

Hallo zusammen,

als ich letztens in unserer Advanced Vehicle Abteilung war, kam die Frage auf wieso es nicht möglich ist die Rückspiegel durch Monitore und Kameras zu ersetzen. Die Antwort: "Man kann auf einem Monitor nicht frei mit den Augen fokussieren."
Auf einem Spiegel ist das aber problemlos möglich.
Und das hat "nichts" direkt mit dem stereoskopischen Sehen zu tun. Man kann auch mit einem Auge verschiedene Ebenen scharf stellen. Auch auf einem Spiegel.

Lichtfeld Kameras gibt es, aber wie weit sind Lichtfeld Monitore, bei denen ich selbst den Schärfepunkt festlegen kann ?
Ist so etwas mit derzeit bekannten Bildschirmtechnologien möglich ?

Als Lichttechnik Laie würde ich sagen:"wir imitieren das Abstrahlverhalten von einem Spiegel". Oder vielleicht einfacher:" wir erfassen die Pupillenstellung des Auges und stellen den Bereich auf dem Monitor scharf den wir anschauen".
Oder müssten wir vielleicht doch ein komplettes 3D Hologramm projizieren ?

Ist das der nächste Schritt realistischer die Umwelt abzubilden oder habe ich einenn Denkfehler ?
Ich denke auch, dass sich mit so einem Monitor Bilder einer Lichtfeldkamera super betrachten lassen könnten. Wieso Schärfeebenen mit der Maus festlegen Wenn das auch das Auge kann ?

Oder ich habe einen riesen Denkfehler. Ich bin auf euer Feedback gespannt, da ich wirklich mehr als ein Laie bin. Besonders ob ihr wisst wo die technischen Hürden sind, bzw. wie weit die Forschung in diesem Punkt ist.

Grüße

[gnahr]

als jamie hynemann von den mythbusters auf tested.com (oder so) occulus rift getestet hat, hat er im anschluss auch erzählt von den problemen ne billige fernsteuerung für ein auto zu basteln, wenn man live aus der scheibe sehen will ohne drinnen zu sitzen.
die pupillen rutschen die ganze zeit wie wild hin und her, das nimmt man nicht wahr, macht aber nen enormen teil des seh-eindrucks aus und das bekommst du auch mit eye-tracking nicht kompensiert. die stellung vielleicht in echtzeit erfasst, aber nicht die entsprechende regelung als antwort nachgestellt und übermittelt.

das natürliche spektrum nachzuahmen ist auch irrwitzig. stell dir mal ein schlüßelloch vor, wie viele verschiedene strahlen allein durch den punkt gehen können... so und jetzt versuch mal den sprung von 0 dimensional (punkt) auf 2d (fläche)... ein punkt hat keine ausdehnung und selbst approximiert auf die seh-fähigkeiten eines normalen menschen ist das ein aufwand der ne apparatur ähnlich groß wie ein zweites auto nötig macht und keinen simplen rückspiegel aus ner beschichteten metallfläche.

lytros sind ja ganz lustig, aber das ist nur ein effekt. von echtem sehen sind wir noch sehr weit weg. facettenaugen kannst du vielleicht mit viel aufwand in die irre führen, aber kein auge und erst recht nicht 2 die per hochtrainiertem seh-apparat dahinter (das zentralnervensystem) verkoppelt sind.
sehen ist so ein komplexer prozess und dann wird das ergebniss auch noch vom gehirn über erfahrungswerte interpoliert... wir können schon keine puppen absolut sicher animieren, dass sie jeden beobachter täuschen könnten, da ist die komplette imitation eines raumes samt lichteffekten nochmal ein anderes kaliber.

[gnahr]

der gedanke ist vielleicht zu verloren:
die zahl der verschiedenen graden die durch einen punkt oder ne fläche geht ist nicht zu verschieden. man muss nur in der lage sein jede einzelne beliebig fein paralell zu verschieben und da der raum in unserer dritten dimension endlich ist... bist du dann bei 20km glasfasern die signale umlenken müssen um sie so weit kompakt auszusenden oder man lässt es einfach. mal so eben die glühbirne drehen und komisch pulsieren lassen geht nicht. das hast du ja beim normalen leucht-schirm und die bilddarstellung wirklich fürs auge kommt dabei ja nur vom nachglühen der posphor-schicht auf dem schirm.

[Dalai-lamer]

Im Endeffekt wird das was wir sehen zwei dimensional auf der Netzhaut abgebildet. Oder besitzt die Netzhaut eine Technik wie eine Lichtfeld Kamera ?

[gnahr]

abgebildet nicht im sinne von kamera obscura, das ist ne vereinfachung um es den leuten zu erklären.
die zäpfchen und stäbchen haben schon mehr drauf.
vor allem geht es um die präzision, der konsistente eindruck bei etlichen sprüngen und selbst großen winkeländerungen und meiner meinung nach die königsdiziplin: das seh-areal des gehirns dahinter austricksen.

wenn du mal nen optik-spezialisten anhaust würde mich dessen ansichten dazu genauso interessieren. :)

[mksn7]

Dadurch, dass durch eine Linse und nicht durch eine Lochkamera abgebildet wird, entstehen ja die Unschärfen. Und die kriegt man halt nur durch richtige Lightfields richtig hin. Und dann kann man ja noch seinen Kopf bewegen, was auch ein extrem wichtiger Faktor für Tiefeneindruck ist. Gabs da nicht mal eine Demo, die mit Head tracking trotz 2D Display einen verblüffend echten Tiefeneindruck erreicht hat?

[Kennung Eins]

Die Idee wurde von einigen Leuten aufgegriffen. Wir haben eine Schutzrechtsanmeldung (Deutschland) dafür.

Das Fraunhofer IOF macht auch was in die Richtung:
http://www.iof.fraunhofer.de/content/dam/iof/de/documents/Publikationen/Jahresbericht/2012/arrayprojektion-auf-freiformflaechen.pdf

Hier vielleicht auch ganz interessant, zwar anders aber erreicht das selbe Ergebnis:
www.youtube.com/watch?v=XZth5CFS2mQ
Daraus ein Display zu bauen ist jedoch um einiges schwieriger (riesen Datenmenge nötig)

[Nighthawk13]

Tensor Displays stellen mehrere Perspektiven dar durch Zeit-Multiplexing und mehrere LCDs hintereinander:
http://web.media.mit.edu/~gordonw/TensorDisplays/

Sah schon sehr plastisch aus auf der Siggraph 2012. Aber der Tiefenbereich war nicht sehr gross(Aquarium Style), und die Schärfe war auch deutlich geringer als an einem Monitor.

[Dalai-lamer]

Wie wäre es, ähnlich wie bei der brillenlosen 3D Technologie, einzelne Pixel mit Linsen auszustatten. Nun könnte man Objekte die weiter hinten liegen, durch die Pixel darstellen lassen, die eine Linse aufgesetzt hab durch die das Auge weiter hinten fokussieren muss.

Man bräuchte für unendlich schärfe Ebenen unendlich Pixel, aber so4 schärfeebenen sollte man mit einem 4k Display mit Full hd Auflösung schaffen oder ?

Naja sehr abstrakt und einfach mal in den Raum geworfen ;)

Oder man setzt mehrere durchsichtige lcd's hintereinander mit Linsen dazwischen. Das geht Richtung dem weiter oben verlinkten tv oder ? Je nachdem wo sich das Objekt befindet, schaltet man die vorderen Ebenen auf durchsichtig. Die Entfernung zwischen den Displays wird dann durch Linsen erhöht

[Kennung Eins]

Hatte nicht Phillips darauf ein Patent und gerade ein erstes Gerät veröffentlicht?

[gnahr]

Wie wäre es, ähnlich wie bei der brillenlosen 3D Technologie, einzelne Pixel mit Linsen auszustatten.
parallaxe wie bei diesen neumodischen handhelds.
auch nicht so ganz das wahre. dann lieber weiter an gutem shuttering geforscht, bis ne folienbrille reicht mit massiv erhöhter lichtstärke durch bessere schaltzeiten und nem pulsierenden bildschirm wie bei ligth boost im rahmen von 3dvision2.0

[Dalai-lamer]

Ich meine nicht, dass damit jedes Auge ein anderes Bild bekommt(derzeitiges 3D) sondern das man mit einem Auge mehrere schärfeebenen sehen kann

[Annator]

Hallo zusammen,

als ich letztens in unserer Advanced Vehicle Abteilung war, kam die Frage auf wieso es nicht möglich ist die Rückspiegel durch Monitore und Kameras zu ersetzen. Die Antwort: "Man kann auf einem Monitor nicht frei mit den Augen fokussieren."
Auf einem Spiegel ist das aber problemlos möglich.
Und das hat "nichts" direkt mit dem stereoskopischen Sehen zu tun. Man kann auch mit einem Auge verschiedene Ebenen scharf stellen. Auch auf einem Spiegel.

Lichtfeld Kameras gibt es, aber wie weit sind Lichtfeld Monitore, bei denen ich selbst den Schärfepunkt festlegen kann ?
Ist so etwas mit derzeit bekannten Bildschirmtechnologien möglich ?

Als Lichttechnik Laie würde ich sagen:"wir imitieren das Abstrahlverhalten von einem Spiegel". Oder vielleicht einfacher:" wir erfassen die Pupillenstellung des Auges und stellen den Bereich auf dem Monitor scharf den wir anschauen".
Oder müssten wir vielleicht doch ein komplettes 3D Hologramm projizieren ?

Ist das der nächste Schritt realistischer die Umwelt abzubilden oder habe ich einenn Denkfehler ?
Ich denke auch, dass sich mit so einem Monitor Bilder einer Lichtfeldkamera super betrachten lassen könnten. Wieso Schärfeebenen mit der Maus festlegen Wenn das auch das Auge kann ?

Oder ich habe einen riesen Denkfehler. Ich bin auf euer Feedback gespannt, da ich wirklich mehr als ein Laie bin. Besonders ob ihr wisst wo die technischen Hürden sind, bzw. wie weit die Forschung in diesem Punkt ist.

Grüße


Wenn ich einen Displayrückspiegel im Auto habe und alles was die Kamera aufnimmt einfach Scharf dargestellt wird muss das Auge doch auch nichts fokussieren. Man sieht halt alles scharf wenn das Auge nur auf das Display fokussiert. Größenverhältnisse ändern sich dadurch ja nicht und man kann abschätzen ob ein Fahrzeug sich schnell oder langsam nähert. Finde den Grund nicht warum man frei fokussieren muss.

[RLZ]

Finde den Grund nicht warum man frei fokussieren muss.
Die Fokussierung gibt, genauso wie kleine Kopfbewegungen, dem Gehirn wichtige Informationen zur 3D Rekonstruktion. Beides geht bei einem Display verloren und das Gehirn kann dadurch wesentlich schlechter die Umgebung interpretieren.

[Kennung Eins]

Ja ..

allerdings muss man auch sagen, dass der Tiefenreiz, der durch die "Fokuseinstellung" der Augen kommt, beim Autorückspiegel nicht so stark ins Gewicht fällt. Die räumliche Orientierung kommt ja von vielerlei Hinweisen .. Fokus, Vergenz, bekannte Geometrien, Veränderungen der Szene etc. Aus der Summe aus allem erarbeitet sich das Gehirn den räumlichen Eindruck.

Die Augen fokussieren im Auto bei den im Spiegel betrachteten Entfernungen während der Fahrt meist auf unendlich. Daher würde es meiner Meinung nach während der Fahrt nicht so wichtig sein, "Tiefe" im Spiegel zu sehen. Beim Einparken allerdings kann das sehr wohl sinnvoll sein für den räumlichen Eindruck (wenn nicht sogar zwingend erforderlich, wäre mal einen Versuch wert). Aufgrund der geringeren Entfernung fokussieren die Augen da hin und her, vielleicht vergieren sie sogar. Das alles sollte in dem Fall eine Auswirkung auf die Tiefenwahrnehmung haben.

Also: Ich bin für den Stereo-Spiegel :-)

[Annator]

Ok beim Einparken hat man aber sicherlich andere Hilfmittel wenn man schon ein Display als Rückspiegel hat. :D

[Kennung Eins]

Ja wohl wahr ...

Naja, allerdings benutze ich trotz technischer Hilfsmittel die Rückspiegel beim Einparken. Zumindest meistens :)

[Dalai-lamer]

Als ob ich in die Zukunft geschaut hätte:)

http://www.golem.de/news/nvidia-oculus-rift-konkurrent-mit-lichtfeld-technologie-1307-100679.html

[del_4901]

Als ob ich in die Zukunft geschaut hätte:)

http://www.golem.de/news/nvidia-oculus-rift-konkurrent-mit-lichtfeld-technologie-1307-100679.html
Jap, ich hatte aber meine Probleme damit ordentlich zu focusieren.

[Dalai-lamer]

Du hast es schon getestet ?

[MartinB]

Auf Siggraph wurde es ja gezeigt. Ich konnte dieses Jahr leider nicht hinfahren, hoffentlich gibt es dann aber auf der Siggraph Asia auch ein paar coole Dinge.

[del_4901]

Jup die hatten die Dinger auf der Siggraph.

[-/\-CruNcher-/\-]

Hätte extreme gewundert wenn gerade Nvidia nicht auch im VR Berreich rumforschen würde und dann gleich mal so weit nett :)

Also das fokusieren muss man schon in dem Demo Video (forderer fisch hinterer fisch) mit der Lupe suchen kann aber auch die quantization sein ;)

[Nighthawk13]

Jap, ich hatte aber meine Probleme damit ordentlich zu focusieren.
Lag's an der Auflösung? Bei 146x78 kann ja kaum ein scharfer Bildeindruck entstehen, auch wenn man optisch fokussiert hat...

[FlashBFE]

Also das fokusieren muss man schon in dem Demo Video (forderer fisch hinterer fisch) mit der Lupe suchen kann aber auch die quantization sein ;)
Ja, ich habe da auch nichts sinnvolles entdecken können, bis die Kamera dann raus auf die Linsen fokussiert hat.

Ich finde die Technologie sehr interessant. Wenn es das erst mal mit hoher Auflösung gibt, hat man zumindest für diese spezielle Anwendung die Eigenschaften von echten Hologrammen schon erreicht mit deutlich einfacherer Bauweise.

[mboeller]

verstehe ich das richtig?
Die Auflösung ist nur noch so hoch wie 1 Microlens-Feld. Wenn man sich das Video auf heise.de anschaut, dann scheint der Prototyp ja 10 x 16 Microlinsen zu haben. Bei einem 1280 x 800 OLED würde damit nur noch eine Auflösung von 80 x 80 Pixel übrig bleiben. Stimmt das so?

http://www.heise.de/newsticker/meldung/Nvidia-Oculus-Rift-Konkurrent-mit-freier-Fokussierung-1926474.html

Wenn ja bräuchte man ja extrem hoch aufgelöste Bildschirme, damit das ganze richtig funktioniert. Selbst bei nur VGA Auflösung wären dann bereits 10240 x 4800 (640 x 16 / 480 x 10) Pixel pro Auge.

[gnahr]

ne, du kannst doch schon ein paar mehr pixel pro linse drunterstopfen, so stark ist die krümmung nicht. weiterhin bleibt aber der schwund an pixeln, wobei man aber immer etwas mehr als eine ebene sehen wird, also kann man es nicht ganz plan runterbrechen auf ein normales standbild.
Die Displays des Nvidia-Prototyps verfügen über eine Auflösung von jeweils 1.280 x 720 Pixeln. Bauartbedingt stehen davon aber nur 146 x 78 Pixel pro Lichtfeld-Ausschnitt zur Verfügung. Zumindest prinzipiell dürfte die Displaytechnologie trotzdem herkömmlichen Systemen überlegen sein, weil vor allem der Umgang mit der Tiefenschärfe für das Auge wesentlich natürlicher ist. Außerdem können Fehlsichtigkeiten einfach per Software korrigiert werden - bei Oculus Rift müssen Spieler eigentlich eine Brille oder Kontaktlinsen tragen, auch wenn das in der Praxis dann doch irgendwie auch ohne sehr gut geht.http://www.golem.de/news/nvidia-oculus-rift-konkurrent-mit-lichtfeld-technologie-1307-100679.html

[-/\-CruNcher-/\-]

Lag's an der Auflösung? Bei 146x78 kann ja kaum ein scharfer Bildeindruck entstehen, auch wenn man optisch fokussiert hat...

Jep würde ich auch von ausgehen und selbst mit der quantization sah wahrscheinlich das Ergebniss für Alphatiers Auge so ziemlich identlisch vom fast garnicht vorhandenen Schärfe unterschied aus wie im Video zu sehen. Dennoch es ist ein Research Projekt und verdammt beindruckend im Vergleich zu jetzigen VR solutions die langsam wieder auf den Massenmarkt gleiten :)

[Simon Moon]

Die Fokussierung gibt, genauso wie kleine Kopfbewegungen, dem Gehirn wichtige Informationen zur 3D Rekonstruktion. Beides geht bei einem Display verloren und das Gehirn kann dadurch wesentlich schlechter die Umgebung interpretieren.

Das Gehirn ist lernfähig, ich denke, eine Generation die mit Fernseher und Computer aufgewachsen ist, kann auch einen Display als Rückspiegel ausreichend interpretieren.

Zudem besteht bei einem Display die Möglichkeit, zusätzlich Informationen einzublenden. Bspw. in dem man näherkommende Objekte optisch hervorhebt. Oder bei Regen könnte man die Sicht durch Bildbearbeitung klarer machen.

[Kennung Eins]

Ohne die technischen Details der nVidia Brille zu kennen:

Sollte das selbe Funktionsprinzip sein, wie das System vom FhG IOF oder?
http://www.baua.de/de/Themen-von-A-Z/Ambient-Intelligence/Tagungen/pdf/Datenbrillen-2013-2.pdf?__blob=publicationFile&v=1