Kinect 2 - Sammelthread zur Technologie (nicht Spiele)

[MartinB]

Hier mal ein Thread zum neuen Kinect Sensor.

http://www.wired.com/images_blogs/gadgetlab/2013/05/20130514-XBOX-ONE-TEARDOWN-016-660x440.jpg
http://www.wired.com/images_blogs/gadgetlab/2013/05/20130514-XBOX-ONE-TEARDOWN-017.jpg
http://www.wired.com/images_blogs/gadgetlab/2013/05/20130514-XBOX-ONE-TEARDOWN-008-660x440.jpg

Wired hat mehr Informationen dazu: http://www.wired.com/gadgetlab/2013/05/xbox-one/

"Todd Holmdahl, demonstrates for me by walking his 6′ 4″ frame toward the sensor. Even 3 feet away, the Kinect’s onscreen display clearly registers his entire body, and he still has room to lift his hands above his head."

The Kinect sensor can track up to six peoples' skeletons, depth maps, rotation, expression, motion force and even their heart rate.

Leider kein normaler USB Stecker, hoffentlich gibts genauso wie für die Kinect1 nen Adapter für den PC
http://cdn0.sbnation.com/entry_photo_images/8237545/xbox-one-t-heverge8_1020_verge_super_wide.jpg

The original sensor mapped people in a room using “structured light”: It would send out infrared light, then measure deformities in the room’s surfaces to generate a 3-D depth map. However, that depth map was lo-res to the degree that clothing and couch cushions were often indistinguishable. The new model sends out a modulated beam of infrared light, then measures the time it takes for each photon to return. It’s called time-of-flight technology, and it’s essentially like turning each pixel of the custom-designed CMOS sensor into a radar gun, which allows for unprecedented responsiveness—even in a completely dark room. (See the video for the evidence.)

[alkorithmus]

Demonstration http://gizmodo.com/kinect-2-full-video-walkthrough-the-xbox-sees-you-like-509155673?utm_source=twitterfeed&utm_medium=twitter

:usex:

[TheCounter]

Schon sehr beeindruckend. So sollte Kinect ursprünglich schon funktionieren ;)

[mboeller]

ja, schon cool. Scheint diese Technologie zu sein:

http://www.ingenieur.de/Fachbereiche/Elektronik/Neuer-Laser-Sensor-Airbag-im-Auto-sicherer

[Nightspider]

Die 3 Rechtecke sind IR-LEDs oder?
Die Cam links daneben müsste eine IR-Cam sein und ganz links die normale RGB-HD-Cam.

Wird mit beiden Cams zusammen das 3D Bild erzeugt oder macht das die IR-Cam alleine?

Und wieso sitzen beide so nah beieinander? Bei Kinect 1 hatten diese ja einen viel größeren Abstand, wenn ich mich nicht irre.
Ich frage mich generell, warum Kinect 2 so groß und breit ausfällt.

[MartinB]

Kinect1 war eine ganz andere Technik. generell wäre es dort sogar besser gewesen IR Cam und Laser nah beieinander zu haben.


Welche Auflösung hat nun der Sensor eigentlich? 5xx*3xx war mal im Gespräch, was für einen TOF Sensor schon sehr beachtlich wäre. Unsere Robotik-Fakultät hat einen 160*120 Sensor der 5000€ gekostet hat und vor zwei jahren noch State of the Art war.

[PHuV]

Das man den Herzschlag anhand des Gesichtes erkennen kann, war mir neu, wirklich beeindruckend.

[drkohler]

Die 3 Rechtecke sind IR-LEDs oder?
Die Cam links daneben müsste eine IR-Cam sein und ganz links die normale RGB-HD-Cam.

Wird mit beiden Cams zusammen das 3D Bild erzeugt oder macht das die IR-Cam alleine?

Das geht irgendwie nicht auf so...
Kinect2 besteht aus
a) RGB-Kamera 1920*1080
b) gepulste IR-diode
c) tof-Kamera (Gerüchteweise 500*400 pixel, was mir viel zu hoch erscheint)
Auf den ersten Versuch hin hätte ich gesagt, die drei Rechtecke sind die drei 1920*1080 ccd chips (R,G,B), hinter einer der beiden Linsen versteckt sich die IR-Diode, hinter der anderen Linse versteckt sich der tof-chipsatz.
Das 3d-Bild macht der tof-Chipsatz, ganz alleine ohne XBox. Das Gerät soll es Gerüchteweise auch für den PC geben, da werden wohl einige Forscher aufspringen wenn sie für lau Geld eine tof-Kamera bekommen können..

[drkohler]

Welche Auflösung hat nun der Sensor eigentlich? 5xx*3xx war mal im Gespräch, was für einen TOF Sensor schon sehr beachtlich wäre. Unsere Robotik-Fakultät hat einen 160*120 Sensor der 5000€ gekostet hat und vor zwei jahren noch State of the Art war.Nachdem in der XBox-Präsentation das magische tof Wort erwähnt wurde, habe ich gleich mal rumgegoogelt und mam bekommt tatsächlich 160*120 tof-Kameras um die 250 Euronen. An Ihre Preismarke kann ich mich auch gut erinnern, aber in letzter Zeit sind einige Grossfimen auf den Zug aufgesprungen, was den Preis doch massiv gedrückt zu haben scheint. In einer der "XBox-Reveals" wurde die Auflösung des "3D-streams" mit 500*400 angegeben, was mich doch sehr, sehr hoch dünkt für eine (bezahlbare) tof-Kamera. Auch wenn Kinekt2 millionenfach produziert wird, kann ich mir eigentlich keinen Preis unter 100 Euronen vorstellen für so einen grossen tof-Chip...

[xL|Sonic]

Die Frage ist was kostet die Xbox. Von den Specs her ist sie ja langsamer/günstiger als eine PS4.

[drkohler]

Das Witzige an der Rückwand ist der Trafo-Stecker ganz links. scheint ein 12V dc Steckerteil zu sein. Die recht grosse XBox könnte also von einem massiven, externen Netzteilklotz begleitet sein...

[MartinB]

Das hier ist der Kinect Thread - Xbox Diskussionen bitte woanders.

[Nightspider]

Das geht irgendwie nicht auf so...
Kinect2 besteht aus
a) RGB-Kamera 1920*1080
b) gepulste IR-diode
c) tof-Kamera (Gerüchteweise 500*400 pixel, was mir viel zu hoch erscheint)
Auf den ersten Versuch hin hätte ich gesagt, die drei Rechtecke sind die drei 1920*1080 ccd chips (R,G,B), hinter einer der beiden Linsen versteckt sich die IR-Diode, hinter der anderen Linse versteckt sich der tof-chipsatz.
Das 3d-Bild macht der tof-Chipsatz, ganz alleine ohne XBox. Das Gerät soll es Gerüchteweise auch für den PC geben, da werden wohl einige Forscher aufspringen wenn sie für lau Geld eine tof-Kamera bekommen können..

3 einzelne R,G und B Chips nebeneinander ohne Linsen? Noch falscher geht es kaum. :freak:

Zumal man die 3 Dinger im Video hat leuchten sehen (Ultraviolett).

Der RGB-Cam Sensor steckt natürlich hinter den großen Linsen, denn dieser Chip braucht die beste Optik, wegen der hohen Auflösung.

[-/\-CruNcher-/\-]

Nachdem in der XBox-Präsentation das magische tof Wort erwähnt wurde, habe ich gleich mal rumgegoogelt und mam bekommt tatsächlich 160*120 tof-Kameras um die 250 Euronen. An Ihre Preismarke kann ich mich auch gut erinnern, aber in letzter Zeit sind einige Grossfimen auf den Zug aufgesprungen, was den Preis doch massiv gedrückt zu haben scheint. In einer der "XBox-Reveals" wurde die Auflösung des "3D-streams" mit 500*400 angegeben, was mich doch sehr, sehr hoch dünkt für eine (bezahlbare) tof-Kamera. Auch wenn Kinekt2 millionenfach produziert wird, kann ich mir eigentlich keinen Preis unter 100 Euronen vorstellen für so einen grossen tof-Chip...

Microsoft hat Canesta nicht umsonst geschluckt, und seien wir mal ehrlich die Tof Preise sind noch überteuert es wird mal Zeit das hier Druck kommt ;)
Dafür kann man Microsoft nur lieben soviel High Tech wie die in kürzester Zeit aus der Forschung in die Wohnzimmer zu absoluten hammerpreisen bringen verdient Respekt auch wenn das andere natürlich ärgern dürfte aber so ist das nunmal ;)

Das man den Herzschlag anhand des Gesichtes erkennen kann, war mir neu, wirklich beeindruckend.

Denke mal sehr simpel, Infrarot Halsschlagader pulsieren messen = Herzschlag ;)

[MartinB]

Es wird die Hautfarbe im Gesicht analysiert. Das Sytem gab es in letzter Zeit ja öfter, z.B. auch un Spiegeln

[-/\-CruNcher-/\-]

Es wird die Hautfarbe im Gesicht analysiert. Das Sytem gab es in letzter Zeit ja öfter, z.B. auch un Spiegeln

Das man anhand der Hautfarbe den Gesundheitszustand beurteilen kann ist glaub ich sehr geläufig aber den exakten momentanen Herzschlag in Echtzeit über Farbveränderungen der Haut ?

(It’s partially done via infrared light, which means it works regardless of skin tone.)

Für mich hört sich das an als wird irgend eine Blutbahn analysiert vielleicht auch irgendwas in kombination mit der wärme beobachtet und ausgewertet.

Sowas könnte auch nützlich für Feds werden bei verhören z.b :)

[MartinB]

Ja das geht. Ist ja wie gesagt nichts Neues:

http://people.csail.mit.edu/mrub/vidmag/images/teaser.jpg
http://people.csail.mit.edu/mrub/vidmag/

[gnahr]

echt verwunderlich, dass die leute noch nie was von gehört haben.
es geht um die partie um die nase. die vorderen wangenbereiche sind so fein durchblutet, dass man da alles sehen kann im entsprechenden spektrum.
mit den pulsmessern am zeigefinder läuft es ja ähnlich, nur braucht man da ein starkes durchscheinlicht um das gewebe gut beobachten zu können.

[-/\-CruNcher-/\-]

Ja das geht. Ist ja wie gesagt nichts Neues:

http://people.csail.mit.edu/mrub/vidmag/images/teaser.jpg
http://people.csail.mit.edu/mrub/vidmag/

Naja 2012 ist noch nicht so alt das Paper kannte ich nicht, danke

This work was partially supported by DARPA SCENICC program

Das Program Googlen

Ach du meine fresse kontaktlinsen kameras die das können, dagegen sieht RIFT und CO alt aus an was da die Darpa schon werkelt die schmeisen anscheinend die ganzen VR helme schon über board


echt verwunderlich, dass die leute noch nie was von gehört haben.
es geht um die partie um die nase. die vorderen wangenbereiche sind so fein durchblutet, dass man da alles sehen kann im entsprechenden spektrum.
mit den pulsmessern am zeigefinder läuft es ja ähnlich, nur braucht man da ein starkes durchscheinlicht um das gewebe gut beobachten zu können.

Hier wird ja nix durchleuchtet nur die chroma Veränderungen die für die Kamera und uns nicht sichtbar sind werden temporal sichtbar gemacht

Ich meine die chroma unterschiede in diesen frames http://people.csail.mit.edu/mrub/vidmag/video/face.mp4 sichtbar zu machen ist ja kein problem aber daraus den exakten pulsschlag zu finden im Signal ist schon was :)

Im prinzip kann man das doch als sehr genaue Motion Estimation ansehen ?

“People wanted to be able to analyze their opponent during a poker game or blackjack and be able to know whether they’re cheating or not, just by the variation in their heart rate,” he said.

Für Games und KI schon ne feine sache wenn sie jetzt sogar den Herzschlag des Spielers kennen, allerdings bezweifele ich das man blöffen so herausbekommt da muss ja nicht die herzfrequenz steigen ;)

[gnahr]

Hier wird ja nix durchleuchtet nur die chroma Veränderungen die für die Kamera und uns nicht sichtbar sind werden temporal sichtbar gemacht
als ob das durchleuchten der entscheidende punkt wäre, das ist ja nur das hilfsmittel am wurstigen finger, dass man eben nicht auf nen anstecker im wangenbereich angewiesen ist.
und was meinst du mit temporal? man macht konstant aufnahmen und vergleicht die. nix temporal. :)

[alkorithmus]

Gibt es ein Spezifikationsblatt als PDF? Eventuell sogar mit verwendeten Algorithmen? ;(

[THEaaron]

Hm.. ein Kommilitone von mir hat den damaligen Matlab Algorithmus vom MIT in einer kleinen Projektarbeit auf c++ portiert. Ich frag ihn mal.


€: Wobei man dort schon fertige Videos konvertiert hat.. jetzt läuft das ganze ja in Echtzeit. Verdammt beeindruckend.

[Nightspider]

Gibt es irgendwo einen ausführlichen Artikel zu den TOF-Kameras oder Kinect 2?

Gerade wie das mit den 3 IR-Dioden funktioniert würde mich interessieren.

Edit: Okay, ich habe da einiges auf Wikipedia dazu gefunden. Man spricht halt im generellen von einer Infrarotlichtquelle. Aber warum hat Kinect 2 dann 3 IR LEDs?

Ich habe auch noch keinen Grund gefunden, warum die Technik an sich so teuer ist, außer das sie eben noch ziemlich neu ist und alles handmade sein wird.
Ich schätze mal das in den nächsten Jahren auch schnell die Auflösungen der TOF-Kameras steigen wird, wie bei Kameras.
Bzw. habe ich nirgendwo gelesen, warum man nicht auch normale moderne CCD oder BSI Sensoren als TOF Sensoren verwenden kann, mit hoher Auflösung. Selbige wurden ja auch immens lichtempfindlicher die letzten Jahre.
BSI Sensore dürften auch 100-200 Bilder pro Sekunde aufnehmen können, warum man damit nicht auch die Lichtlaufzeit messen kann würde mich interessieren. Vielleicht kann mir das jemand besser erklären. =)

[drkohler]

Edit: Okay, ich habe da einiges auf Wikipedia dazu gefunden. Man spricht halt im generellen von einer Infrarotlichtquelle. Aber warum hat Kinect 2 dann 3 IR LEDs?

Ich habe auch noch keinen Grund gefunden, warum die Technik an sich so teuer ist, außer das sie eben noch ziemlich neu ist und alles handmade sein wird.
Bei Kinect2 werden 3 Dioden gebraucht, einfach um den Raum zu fluten (wahrscheinlich haben die einzelnen Dioden einen engen Lichtkegel, sodass man drei braucht, um den Raum auszuleuchten). Die rgb Kamera ist ja auch ir empfindlich ("Nightvision"), da braucht man genügend ir-Licht.

Die Technik war (bisher) so teuer, weil erstens jede tof-Kamera "handgemacht" wurde für Einzelkunden - meist auf "alten" Chiplinien. Die alte Technologie hat schon mal die Grösse der Chips und somit die Auflösung beschränkt, weil Zweitens ist eine tof Kamera nicht nur ein ccd chip, bei dem Pixel Licht sammeln. Vereinfacht gesagt, gibt es digitale und analoge tof-chips.
Bei einer digitalen tof-Kamera besteht jedes Pixel aus einer Photozelle und einem digitalen Zähler. Nach dem Lichtpuls werden alle Zähler gestartet. Sobald Licht auf eine Photozelle fällt, wird dessen Zähler gestoppt. Der Zähler enthält direkt die Distanzinformation, aber enthält keine Information zur Lichtmenge. Wenn man das rechnet, sieht man dass enorm hohe Frequenzen gebraucht werden wenn man eine anständige Auflösung haben will. Analoge tof-Kameras haben vereinfacht gesagt einen Schalter, der nur zwischen zwei Kondensatoren A und B umschaltet. Das ganze Licht, das auf eine Photozelle fällt, wird entweder im Ersten oder nach dem Schalten im zweiten Kondensator gesammelt. Aus dem Verhältnis der Lademengen B/(A+B) und der Summe (A+B) kann man nicht nur die Distanzinfo berechnen, sondern auch die Intensität ist bekannt. Das Ganze ist sehr verrauscht, aber man kann mehrmals Pulsen und zusammenzählen, weil eine Messung weniger als eine Mikrosekunde dauert.

Grundsätzlich brauchen tof-Kameras wesentlich mehr Platz auf dem Die für eben das Zusatzgemüse neben den Photozellen. Nur wenn man Zugang hat zu <100nm Linien kann man grössere Chips bauen. Strafverschärfend kommt dazu, dass in den Chips keinerlei Redundanz vorhanden ist (ausser man erlaubt "Pixelfehler").
Das ist der Grund für die "Yieldprobleme"-Gerüchte der XBox One. Die gab es tatsächlich, allerdings war es nicht die apu der Konsole, sondern der SoC des Kinect2s, der mit 500*400 Pixeln eine unglaublich hohe Auflösung hat (für 320*240 zahlt man immer noch über 400 Euro auf dem freien Markt...), Wahrscheinlich will MS 100% fehlerfreie Chips, da war zu Beginn der Auschuss gross..

[-/\-CruNcher-/\-]

Jep die Kamera und die Sprachanalyse sind momentan das beindruckendste :)

Procedural Animation System :D

907jEBbvFxI

Da träumen viele von das endlich an den PC zu stöpseln oh man VR ;)

[labecula]

Sorry aber die Sprachsteuerung ist ein Witz... und die kamera erkennt nichtmal gesten für Zootycoon. Wenn man sich eine Xbone kaufen will, dann bitte nicht wegen kinect. Das wird eine große Enttäuschung sein.

oder anders: was nützen vielversprechende und beeindruckende technische Daten, wenn die praxis ein desolates Bild abgibt?

[MartinB]

Xbox Thread ist hier: http://www.forum-3dcenter.org/vbulletin/showthread.php?t=542205

Hier bitte nur non-Xbox und technische Diskussionen.


Ontopic:
Die ersten Kinect2 Dev-Kits scheinen nun verschickt zu werden.

[-/\-CruNcher-/\-]

Entschuldigung aber das war technisch Ubisoft verknüpft ihr Procedural Animation System mit den Skeletal und Physical Muscle weight Simulation daten aus der Kinect 2 desweiteren nutzen sie die Depth daten für eine Prezise Steuerung im Raum :)

Das für VR zu haben wäre bombe das kann kein anderes system bieten, Kinect konnte nie richtig eingesetzt werden wegen der Latency laut Ubisoft ist das History :)

@labecula
Wo ist die Semantische Spracherkennung ein Witz, also ich sehe das sie sehr gut funktioniert ?

in dem Geekwire result gibt es nur minimale aussetzer die nicht unbedingt selbst mit der Erkennung zu tun haben müssen.

Die Leute sollten sich auch mal genau die Privacy Policy anschauen weil für Microsofts Neural Network training könnten diese Daten die jeder user da reinspricht gold wert sein :)

mdsTjOTUcjs

[GBWolf]

Kinect 2 hat immernoch deutliche Latency aber geringer als Kinect 1.

[Armaq]

Also ich war vom Test des Systems schon stark geflasht. Das Setup und vor allem das Schaubild / was sieht Kinect waren ja fast angsteinflößend. Meine Freundin schlief auf der Couch unter der Decke und wurde trotzdem erkannt. Also rein technisch ist das großes Kino.

[Börk]

Sorry aber die Sprachsteuerung ist ein Witz... und die kamera erkennt nichtmal gesten für Zootycoon. Wenn man sich eine Xbone kaufen will, dann bitte nicht wegen kinect. Das wird eine große Enttäuschung sein.

oder anders: was nützen vielversprechende und beeindruckende technische Daten, wenn die praxis ein desolates Bild abgibt?

Die Kamera ist auch nicht dafür gemacht irgendwelche Gesten zu erkennen, sondern ein Tiefenbild bzw. Geometrie zu liefern. Also ein Abbild dessen was vor der Kinect passiert.
In echt sieht die hat ja nicht mal Tiefenbilder, sondern 4 phasenverschoben intensitätsbilder, hat also gar keinen plan was das überhaupt darstellen soll, was sie sieht.

Die Gesten müssen dann natürlich noch softwareseitig erkannt werden. Soweit ich das verstanden habe ist dass dann auch nciht die Aufgabe von Mcirosoft, sondern von den Entwicklern selbst. Dass das ganze dann noch nicht ausgereift ist, ist natürlich auch klar...

[MartinB]

Zumindest das neue Windows SDK (für Kinect1) bietet rudimentären Gestensupport. Was Xbox Entwickler jedoch bekomemn, weiß ich nicht. Vielleicht kann Coda dazu mehr sagen.

[-/\-CruNcher-/\-]

25 joints echtzeit tracking der finger da sollte das mit der gesten erkennung ja kein problem mehr sein, fighter within erkennt ja auch ohne problem komplet body gesten :)
Für VR wird eher die verteilung der Kräfte im Körper interessant werden gepart mit jeweiliger hardware Microsofts Physics Muscle Model was sie aus den doch sehr akuraten Skelton daten die sie aus dem TOF ziehen generieren und was mit Kinect1 absolut nicht machbar ist in dieser Präzesion :)

[MartinB]

Hat hier jemand eine Kinect 2 und kann mal folgendes testen?

Frontal vor die Kinect stellen, Arme am Körper. Die Position der Hüftknochen heben und dann mal die Arme in die Luft strecken.
Bewegen sich die Hüftknochen nach oben?

[mboeller]

ich grab mal einen uralten Thread aus. Ich denke aber der Link passt hier rein:

http://image-sensors-world.blogspot.co.at/2016/05/continental-integrates-tof-camera-into.html

endlich mal eine vernünftige Anwendung für einen TOF-Sensor.

[alkorithmus]

Hehe

https://1.bp.blogspot.com/-fYIWVRea9iA/VzIuxCBSZdI/AAAAAAAAPKo/tdYIitzvYS8Lv92jCVc15k8iYT0jfUkywCLcB/s1600/Continental%2Bimg_2016_05_10_hands_on_wheel_4_en-onlineData.gif

[Affinator]

Wer das Lenkrad so in die Hände nimmt, gehört geschlagen. Warum wird 10 vor 2 eigentlich immer noch verbreitet?

[IceKillFX57]

Also im Regen und Tempo mind. 200 fahre ich auch lieber mit zwei händen.

[Affinator]

Aber bitte nicht oben aufliegend, sondern an den Seiten greifend. Das ist lebensgefährlich...