Archiv verlassen und diese Seite im Standarddesign anzeigen : Neuronale Netze
del_4901
2007-09-02, 17:14:48
Ich brauch ein gutes und aktuelles Buch über Neuronale Netze.
Darf man wissen was du anstellen willst? :rolleyes:
del_4901
2007-09-02, 17:54:40
Darf man wissen was du anstellen willst? :rolleyes:
Öhm nein! Ich will in meinem Eventsystem eine "Laufzeitoptimierung" vornehmen. Und bin da irgendwie bei Neuronalen Netzen gelandet.
Nebenbei will ich natürlich noch den einen oder anderen Seiteneffekt ausnutzen ... ich plappere schonwieder zuviel tztztztz.
Tja Coda anstatt mich "auszuhorchen" solltest du mir lieber mal nen Buchvorschlag geben.
Ich bin ja drauf und dran das hier zu kaufen: http://www.amazon.com/Neural-Networks-Comprehensive-Foundation-3rd/dp/0131471392 ... aber das dauert noch so lange bis es draußen is, und die 2te Version is Steinalt.
Es geht mir nur darum, dass für viele Anwendungen Neuronale Netze auch überhaupt nicht geeignet sind. Da bin ich auch schon drauf reingefallen ;)
del_4901
2007-09-02, 19:13:34
Es geht mir nur darum, dass für viele Anwendungen Neuronale Netze auch überhaupt nicht geeignet sind. Da bin ich auch schon drauf reingefallen ;)
Jeder schaufelt sich sein eigenes Loch. ^^ Für (meine) Optimierungszwecke sollte es geeignet sein.
Jetzt hast du mich aber neugierig gemacht, was wolltest du denn mit KNNs machen?
Parameteroptimierung fürs PSP-CMOS-Model. Das große Problem ist dass es sau schwer zu optimieren/debuggen ist wenn du nicht irgend eine Möglichkeit hast dir immer die derzeitige Population anzeigen zu lassen.
del_4901
2007-09-02, 21:03:20
Parameteroptimierung fürs PSP-CMOS-Model.
Das klingt sehr technisch ... will da jemand in seiner Zukunft Chips designen?
Das große Problem ist dass es sau schwer zu optimieren/debuggen ist wenn du nicht irgend eine Möglichkeit hast dir immer die derzeitige Population anzeigen zu lassen.
Deswegen suche ich ja gute Lektüre, um alle Fußangeln und Fettnäppchen umschiffen zu können.
Das klingt sehr technisch ... will da jemand in seiner Zukunft Chips designen?
Nein, ich habe für eine Firma gearbeitet die Transistor-Mess- und Simulations-Software hergestellt hat.
Man glaubt gar nicht wieviel Pfusch da dahinter steckt in der Industrie (die Firma hat alle Halbleiterfertiger als Kunden außer Intel ;)), aber das ist ein anderes Thema.
Deswegen suche ich ja gute Lektüre, um alle Fußangeln und Fettnäppchen umschiffen zu können.
Ich hab damals leider nur sehr technische Sachen gefunden. Das ist so ein Elite-Thema, das jeder für sich behalten will wenn er sich damit auskennt.
del_4901
2007-09-02, 21:15:44
Ich hab damals leider nur sehr technische Sachen gefunden. Das ist so ein Elite-Thema, das jeder für sich behalten will wenn er sich damit auskennt.
Definiere sehr technisch. Also ich bin da relativ flexibel, und wenn ich mich in was verbissen habe, dann schalte ich schell den Hyperfocus ein und ab gehts. Ok, es könnte sein das ich (etwas) Mengenlehre hasse, aber was tut man nicht alles für den Fortschritt.
pajofego
2007-09-03, 19:51:53
Optimierung?!? NN?
Ich schlage euch mal - ohne genau zu wissen was ihr da optimieren wollt - diesen Optimierer hier:
CMA (http://www.icos.ethz.ch/software/evolutionary_computation/cma)
Der kann alles, setze den selber ein! Eigenleistung, lediglich die Definition der Zielfunktion.
Viel Spaß beim testen.
Gruß
pajofego
del_4901
2007-09-03, 20:33:08
Optimierung?!? NN?
Ich schlage euch mal - ohne genau zu wissen was ihr da optimieren wollt - diesen Optimierer hier:
CMA (http://www.icos.ethz.ch/software/evolutionary_computation/cma)
Der kann alles, setze den selber ein! Eigenleistung, lediglich die Definition der Zielfunktion.
Viel Spaß beim testen.
Gruß
pajofego
Das ist ja ganz lustig, da kann ich ja meine Mathematik direkt reinfriemeln, leider ist es nur für eine Precompillation zu gebrauchen. Ich will aber eine Laufzeitoptimierung vornehmen, weil ich glaube, (wir sind zwar nicht in der Kirche, aber ganz aufn Kopp gefallen bin ich auch ned) dass ich meine Optimierung nur sinnvoll zur Laufzeit machen kann. Außerdem will ich dynamisch die Betriebsmittel zuordnen. Und irgendwie alles ws ich dazu gefunden habe führt auf den einen oder anderen Weg zu KNNs. Ich will mal sehen das funktioniert, um evalluieren zu können, ob es eine Variante gibt, welche ich gebrauchen kann.
Stone2001
2007-09-03, 22:40:07
Zuerst mal die Buchempfehlungen:
http://www.amazon.de/Machine-Learning-Mcgraw-Hill-International-Edit/dp/0071154671/ref=pd_bbs_sr_1/302-8237517-2512854?ie=UTF8&s=books-intl-de&qid=1188850833&sr=8-1
http://www.amazon.de/Pattern-Recognition-Learning-Information-Statistics/dp/0387310738/ref=pd_bbs_sr_2/302-8237517-2512854?ie=UTF8&s=books-intl-de&qid=1188850833&sr=8-2
Der Mitchell ist im Bereich Machine Learning das Standardwerk.
Der Rojas soll auch nicht schlecht sein (habe ich aber noch nicht in den Händen gehabt)
http://www.amazon.de/Theorie-neuronalen-systematische-Einführung-Springer-Lehrbuch/dp/3540563539/ref=sr_1_2/302-8237517-2512854?ie=UTF8&s=books&qid=1188850924&sr=8-2
Wenn man die Theorie hinter Machine Learning verstehen will:
http://www.amazon.de/Statistical-Learning-Adaptive-Processing-Communications/dp/0471030031/ref=sr_1_2/302-8237517-2512854?ie=UTF8&s=books-intl-de&qid=1188851799&sr=8-2
Aber Vorsicht: Extreme Mathekenntnisse werden hier benötigt. Wenn dir Banach oder Hilberträume Spaß machen, dann ....
Es geht mir nur darum, dass für viele Anwendungen Neuronale Netze auch überhaupt nicht geeignet sind. Da bin ich auch schon drauf reingefallen ;)
Theorie und Praxis!
Meine Erfahrungen mit NNs sind eigentlich genau anders: Mit NN kann wohl alles erreichen, aber es gibt andere Verfahren, die im Anwendungsfall meistens besser sind.
Zitat: Neuronale Netze, sind Netze die sich nicht wehren, wenn man etwas darauf loslässt.
Kommt aber auch auf das Neuronale Netz an, gibt gibt ja viele Ausprängungen davon. Die Neuronalen Netzen, die man in den Grundlagenvorlesungen kennen lernt, eignen sich höchstens für die Berechnung von Bool'schen Funktionen. Mit Sigmoid-Funktion kann man immerhin schon recht viel machen (vor allem weil da Backpropagation anwendbar ist).
Parameteroptimierung fürs PSP-CMOS-Model. Das große Problem ist dass es sau schwer zu optimieren/debuggen ist wenn du nicht irgend eine Möglichkeit hast dir immer die derzeitige Population anzeigen zu lassen.
hmmm, eigentlich sollten NNs für Parameteroptimierungen recht gut funktionieren.
Allerdings bin gerade etwas verwirrt, Populationen bei Neuronalen Netzen? Populationen gehören bei mir zu Gentischen Algorithmen und sonstigen Optimierungs-/Suchverfahren. Bei NNs brauche eher eine Testmenge und eine Trainingsmenge. Over / Underfitting?
Stone2001
2007-09-03, 22:42:40
Das ist ja ganz lustig, da kann ich ja meine Mathematik direkt reinfriemeln, leider ist es nur für eine Precompillation zu gebrauchen. Ich will aber eine Laufzeitoptimierung vornehmen, weil ich glaube, (wir sind zwar nicht in der Kirche, aber ganz aufn Kopp gefallen bin ich auch ned) dass ich meine Optimierung nur sinnvoll zur Laufzeit machen kann. Außerdem will ich dynamisch die Betriebsmittel zuordnen. Und irgendwie alles ws ich dazu gefunden habe führt auf den einen oder anderen Weg zu KNNs. Ich will mal sehen das funktioniert, um evalluieren zu können, ob es eine Variante gibt, welche ich gebrauchen kann.
Kannst du die Beziehung zwischen Input und Output beschreiben? Falls ja, würde ich die Finger von Lernverfahren lassen.
del_4901
2007-09-03, 22:46:43
Welches von den 4en würdest du denn für den Anfang erstmal empfehlen? Ich lege sehr großen Wert auf Aktuallität. Und geneitische Algorithmen / Populationen etc. klingen schonmal nicht schlecht. Bei der Mathe beiß ich mich durch, nützt ja alles nichts.
del_4901
2007-09-03, 22:47:47
Kannst du die Beziehung zwischen Input und Output beschreiben? Falls ja, würde ich die Finger von Lernverfahren lassen.
Ist alles schon geschehen. Übergangsfunktionen, Sprache, Eingabe -> Ausgabe ... liegt alles schön in Mengengleichungen vor. Wiso würde ich dann die Finger davon lassen? Ich will KNNs sowieso erstmal evaluiern, bevor ich da was "Anfange".
Stone2001
2007-09-03, 22:51:25
Welches von den 4en würdest du denn für den Anfang erstmal empfehlen? Ich lege sehr großen Wert auf Aktuallität. Und geneitische Algorithmen / Populationen etc. klingen schonmal nicht schlecht. Bei der Mathe beiß ich mich durch, nützt ja alles nichts.
Für die Grundlagen: Ganz klar Mitchell! Dann kannst du dich gleich auch mit anderen Verfahren vertraut machen. Genetische Algorithmen werden dort z.B. auch erläutert. Siehe auch: http://www.cs.cmu.edu/~tom/mlbook.html
BTW: Bei Grundlagen spielt die Aktualität keine Rolle. Die wird erst interessant, wenn man Forschung in dem Bereich betreibt. ;)
Ist alles schon geschehen. Übergangsfunktionen, Sprache, Eingabe -> Ausgabe ... liegt alles schön in Mengengleichungen vor. Wiso würde ich dann die Finger davon lassen? Ich will KNNs sowieso erstmal evaluiern, bevor ich da was "Anfange".
Die Ergebnisse von NNs sind stark vom Training abhängig! (siehe Codas Beispiel)
Wenn man die Übergangsfunktion kennt, gibt es eigentlich keinen Grund diese Funktion erst zu mühsam zu lernen.
Zumal später bei der Anwendung immernoch Fehler auftreten können. In deinem Fall könnten dann mehr Ressourcen zugewiesen werden als vorhanden sind (z.B.). Oder dauert einfach die Berechnung des Outputs zu lange? So das ein kleines NN hier Vorteile hätte? Hängt halt davon ab, ob du deine Übergangsfunktion effizient berechnen kannst.
Oder willst du die Übergangsfunktion ansich optimieren?
del_4901
2007-09-03, 23:04:33
Die Ergebnisse von NNs sind stark vom Training abhängig! (siehe Codas Beispiel)
Wenn man die Übergangsfunktion kennt, gibt es eigentlich keinen Grund diese Funktion erst zu mühsam zu lernen.
Zumal später bei der Anwendung immernoch Fehler auftreten können. In deinem Fall könnten dann mehr Ressourcen zugewiesen werden als vorhanden sind (z.B.). Oder dauert einfach die Berechnung des Outputs zu lange? So das ein kleines NN hier Vorteile hätte?
Die Übergangsfunktionen können aber auch zusammengefasst werden, und somit habe ich eine (fast) unendliche Menge von verschiedenen Übergangsfuntionen, Das System soll zur Laufzeit die beste Zusammenfassung finden, und das ist nunmal schwer Maschinenabhänig und nur zur Laufzeit entscheidbar.
Stone2001
2007-09-03, 23:10:15
Die Übergangsfunktionen können aber auch zusammengefasst werden, und somit habe ich eine (fast) unendliche Menge von verschiedenen Übergangsfuntionen, Das System soll zur Laufzeit die beste Zusammenfassung finden, und das ist nunmal schwer Maschinenabhänig und nur zur Laufzeit entscheidbar.
Ah, jetzt wird es ein wenig klarer!
NNs sollten das liefern können, was du willst.
Wenn du deine Übergangsfunktion als wenn-dann-Regel formulieren kannst, wären auch Fuzzy-Regeln ein brauchbarer Ansatz. (Halt irgendwas, was die Anzahl deiner Übergangsfunktionen reduziert)
del_4901
2007-09-03, 23:13:01
Ah, jetzt wird es ein wenig klarer!
NNs sollten das liefern können, was du willst.
Wenn du deine Übergangsfunktion als wenn-dann-Regel formulieren kannst, wären auch Fuzzy-Regeln ein brauchbarer Ansatz. (Halt irgendwas, was die Anzahl deiner Übergangsfunktionen reduziert)
Ich hoffe dazu steht auch was im Mitchell! ;)
Stone2001
2007-09-05, 23:00:20
Ich hoffe dazu steht auch was im Mitchell! ;)
Fuzzy-Logik wird IIRC nicht im Mitchell erklärt. Mir fällt aber spontan auch kein gutes Buch zu Fuzzy-Logik ein!
del_4901
2007-09-05, 23:46:53
Fuzzy-Logik wird IIRC nicht im Mitchell erklärt. Mir fällt aber spontan auch kein gutes Buch zu Fuzzy-Logik ein!
Tja informier dich mal ^^
Mein Mitchell ist heute gekommen, is ok, ein bissel wenig Mathe für meinen Geschmack. :whistle: (Seid meiner TI Vorlesung bin ich eigendlich nur Mengenformeln gewohnt)
Der Mitchell hat da echt nen guten Kompromiss gefunden, denn nur Formeln werden schnell langweilig.
vBulletin®, Copyright ©2000-2024, Jelsoft Enterprises Ltd.