blinki
2016-10-17, 21:31:59
Hi, also ich hab da ne News gelesen http://www.spektrum.de/news/deep-learning-netze-bekommen-gedaechtnis-spendiert/1426153?utm_source=zon&utm_medium=teaser&utm_content=news&utm_campaign=ZON_KOOP.
Der Artike handelt von einem Paper aus den Google Deep Mind-Labs bezüglich "Differenzierbarer Neuronaler Computer" DNCs, und ich verstehe dabei so vieles nicht. Kann da mal jemand eine Einordnung geben?
Soweit ich das verstanden habe, haben die ein rekurrentes neuronales Netz bzw. im speziellen eine long-short-term-memory machine genommen und der einen quasi unendlichen Backgrundspeicher verpasst. D.h. die LSTM kann nach eigenem belieben eigene States speichern. Die Speicherstellen werden dabei nicht wie ein Stack oä. alloziert, sondern die Layerstates entsprechen --so wie ich das verstanden habe-- einer Speicherstelle nach AHNLICHKEIT !
Quasi einer Hashfunktion (de fakto haben die da eine cos- funktion benutzt-- was für mich vom gefühl her auf irgendwas mit fft hinausläuft)
Jedenfalls lassen die das in den üblichen Frameworks laufen, also das scheint keine Hardwareimplementierung zu sein, aber das übliche: besser, schneller, leistungsfähiger - kommt dabei heraus.
Das Paper ist über den Artikel zur Zeit zugänglich, über nature.com direkt kostenpflichtig. Wer kann mir das etwas plastischer beschreiben, was da abgeht? Danke
Gruß blinki
Edit:
Um das etwas weniger vage zu halten:
- Ist das der Stein der Weisen oder eine kleine unwichtige Verbesserung?
-Ist so etwas absehbar überhaupt in Hardware zu realisieren, oder bleibt das eine reine Softwaregeschichte?
Der Artike handelt von einem Paper aus den Google Deep Mind-Labs bezüglich "Differenzierbarer Neuronaler Computer" DNCs, und ich verstehe dabei so vieles nicht. Kann da mal jemand eine Einordnung geben?
Soweit ich das verstanden habe, haben die ein rekurrentes neuronales Netz bzw. im speziellen eine long-short-term-memory machine genommen und der einen quasi unendlichen Backgrundspeicher verpasst. D.h. die LSTM kann nach eigenem belieben eigene States speichern. Die Speicherstellen werden dabei nicht wie ein Stack oä. alloziert, sondern die Layerstates entsprechen --so wie ich das verstanden habe-- einer Speicherstelle nach AHNLICHKEIT !
Quasi einer Hashfunktion (de fakto haben die da eine cos- funktion benutzt-- was für mich vom gefühl her auf irgendwas mit fft hinausläuft)
Jedenfalls lassen die das in den üblichen Frameworks laufen, also das scheint keine Hardwareimplementierung zu sein, aber das übliche: besser, schneller, leistungsfähiger - kommt dabei heraus.
Das Paper ist über den Artikel zur Zeit zugänglich, über nature.com direkt kostenpflichtig. Wer kann mir das etwas plastischer beschreiben, was da abgeht? Danke
Gruß blinki
Edit:
Um das etwas weniger vage zu halten:
- Ist das der Stein der Weisen oder eine kleine unwichtige Verbesserung?
-Ist so etwas absehbar überhaupt in Hardware zu realisieren, oder bleibt das eine reine Softwaregeschichte?