DeepDream - DeepDream

"Mona Lisa" mit DeepDream-Effekt mit VGG16-Netzwerk, trainiert auf ImageNet

Teil einer Serie über
Maschinelles Lernen und Data Mining
Probleme Einstufung Clustering Rückschritt Anomalieerkennung AutoML Vereinsregeln Verstärkungslernen Strukturierte Vorhersage Feature-Engineering Feature-Lernen Online lernen Teilüberwachtes Lernen Unbeaufsichtigtes Lernen Rangordnung lernen Grammatikeinführung
Überwachtes Lernen ( Klassifikation  • Regression ) Entscheidungsbäume Ensembles Absacken Erhöhen Zufälliger Wald k -NN Lineare Regression Naive Bayes Künstliche neurale Netzwerke Logistische Regression Perzeptron Relevanzvektormaschine (RVM) Support-Vektor-Maschine (SVM)
Clustering BIRKE HEILUNG Hierarchisch k -bedeutet Erwartung-Maximierung (EM) DBSCAN OPTIK Mittlere Verschiebung
Dimensionsreduktion Faktorenanalyse CCA ICA LDA NMF PCA PID t-SN
Strukturierte Vorhersage Grafische Modelle Bayes-Netz Bedingtes Zufallsfeld Versteckte Markov
Anomalieerkennung k -NN Lokaler Ausreißerfaktor
Künstliche neuronale Netz Autoencoder Kognitives Rechnen Tiefes Lernen DeepDream Mehrschichtiges Perzeptron RNN LSTM GRÜ ESN Eingeschränkte Boltzmann-Maschine GAN SO M Faltungsneurales Netzwerk U-Netz Transformator Spiking neuronales Netzwerk Speichertransistor Elektrochemischer RAM (ECRAM)
Verstärkungslernen Q-Lernen SARSA Zeitliche Differenz (TD)
Theorie Bias-Varianz-Kompromiss Computergestützte Lerntheorie Empirische Risikominimierung Occam-Lernen PAC-Lernen Statistisches Lernen VC-Theorie
Veranstaltungsorte für maschinelles Lernen NeurIPS ICML ML JMLR ArXiv:cs.LG
Verwandte Artikel Glossar der künstlichen Intelligenz Liste der Datensätze für die maschinelle Lernforschung Überblick über maschinelles Lernen
v T e

DeepDream ist ein Computer - Vision - Programm erstellt von Google - Ingenieure Alexander Mordvintsev , die einen verwendete Faltungs neuronales Netz - Muster in zu finden und zu verbessern Bildern über algorithmische pareidolia , so dass ein zu schaffen Traum -ähnlichen psychedelisch Auftritt in den bewusst über bearbeiteten Bilder.

Das Programm von Google hat den Begriff (tiefes) "Dreaming" populär gemacht, um sich auf die Erzeugung von Bildern zu beziehen, die gewünschte Aktivierungen in einem trainierten tiefen Netzwerk erzeugen , und der Begriff bezieht sich jetzt auf eine Sammlung verwandter Ansätze.

Geschichte

Die DeepDream-Software, die in einem tiefen Faltungsnetzwerk mit dem Codenamen "Inception" nach dem gleichnamigen Film entstand , wurde 2014 für die ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) entwickelt und im Juli 2015 veröffentlicht.

Die träumende Idee und der Name wurden 2015 dank des DeepDream-Programms von Google im Internet populär. Die Idee stammt aus der frühen Geschichte neuronaler Netze, und ähnliche Methoden wurden verwendet, um visuelle Texturen zu synthetisieren. Verwandte Visualisierungsideen wurden (vor der Arbeit von Google) von mehreren Forschungsgruppen entwickelt.

Nachdem Google seine Techniken veröffentlicht und seinen Code quelloffen gemacht hatte , kamen eine Reihe von Tools in Form von Webdiensten, mobilen Anwendungen und Desktop-Software auf den Markt, mit denen Benutzer ihre eigenen Fotos transformieren können.

Verfahren

Das Originalbild (oben) nach Anwendung von zehn (Mitte) und fünfzig (unten) Iterationen von DeepDream, wobei das Netzwerk darauf trainiert wurde, Hunde wahrzunehmen

Die Software wurde entwickelt, um Gesichter und andere Muster in Bildern zu erkennen , mit dem Ziel, Bilder automatisch zu klassifizieren. Nach dem Training kann das Netzwerk jedoch auch umgekehrt betrieben werden, wobei das ursprüngliche Bild leicht angepasst werden muss, damit ein gegebenes Ausgabeneuron (zB das für Gesichter oder bestimmte Tiere) einen höheren Konfidenzwert liefert. Dies kann für Visualisierungen genutzt werden, um die entstehende Struktur des neuronalen Netzes besser zu verstehen, und ist die Grundlage für das DeepDream-Konzept. Dieses Umkehrverfahren ist nie vollkommen klar und eindeutig, da es ein Eins-zu-viele- Abbildungsverfahren verwendet. Nach genügend Wiederholungen werden jedoch auch Bilder, denen die gesuchten Merkmale anfangs fehlen, so weit angepasst, dass eine Form von Pareidolie entsteht, durch die algorithmisch psychedelische und surreale Bilder erzeugt werden. Die Optimierung ähnelt der Backpropagation , jedoch werden anstelle der Netzwerkgewichtungen die Gewichte fest gehalten und die Eingabe angepasst.

Beispielsweise kann ein vorhandenes Bild so verändert werden, dass es "katzenartiger" ist, und das resultierende verbesserte Bild kann erneut in die Prozedur eingegeben werden. Diese Verwendung ähnelt der Aktivität, nach Tieren oder anderen Mustern in Wolken zu suchen.

Das unabhängige Anwenden eines Gradientenabstiegs auf jedes Pixel der Eingabe erzeugt Bilder, in denen benachbarte Pixel wenig Beziehung aufweisen und das Bild daher zu viele Hochfrequenzinformationen aufweist. Die erzeugten Bilder können stark verbessert werden, indem man einen Prior oder Regularizer einbezieht, der Eingaben bevorzugt, die natürliche Bildstatistiken haben (ohne eine Präferenz für ein bestimmtes Bild) oder einfach glatt sind. Mahendran et al. den Total Variation Regularizer verwendet, der Bilder bevorzugt, die stückweise konstant sind. Verschiedene Regularisierer werden weiter unten diskutiert. Eine eingehende visuelle Untersuchung von Feature-Visualisierungs- und Regularisierungstechniken wurde vor kurzem veröffentlicht.

Die zitierte Ähnlichkeit der Bilder mit LSD- und Psilocybin- induzierten Halluzinationen deutet auf eine funktionelle Ähnlichkeit zwischen künstlichen neuronalen Netzen und bestimmten Schichten des visuellen Kortex hin.

Computerphile, eine Informatik- Show, beschreibt detailliert die maschinellen Lernprozesse, die von Google Dream verwendet werden.

Verwendungszweck

Ein stark von DeepDream bearbeitetes Foto von drei Männern in einem Pool

Die träumende Idee kann auf andere versteckte (interne) Neuronen als die in der Ausgabe angewendet werden, was die Erforschung der Rollen und Repräsentationen verschiedener Teile des Netzwerks ermöglicht. Es ist auch möglich, die Eingabe zu optimieren, um entweder ein einzelnes Neuron (diese Verwendung wird manchmal als Aktivitätsmaximierung bezeichnet) oder eine ganze Schicht von Neuronen zu befriedigen.

Während Träumen am häufigsten zum Visualisieren von Netzwerken oder zum Erzeugen von Computerkunst verwendet wird, wurde kürzlich vorgeschlagen, dass das Hinzufügen von "geträumten" Eingaben zum Trainingssatz die Trainingszeiten für Abstraktionen in der Informatik verbessern kann.

Auch im Bereich der Kunstgeschichte hat sich das DeepDream-Modell bewährt .

DeepDream wurde für das Musikvideo von Foster the People zum Song "Doing It for the Money" verwendet.

Im Jahr 2017 hat eine Forschungsgruppe der University of Sussex eine Halluzinationsmaschine entwickelt , die den DeepDream-Algorithmus auf ein vorab aufgezeichnetes Panoramavideo anwendet und es Benutzern ermöglicht, Virtual-Reality-Umgebungen zu erkunden, um die Erfahrung von psychoaktiven Substanzen und/oder psychopathologischen Zuständen nachzuahmen. Sie konnten zeigen, dass sich die durch die Halluzinationsmaschine induzierten subjektiven Erfahrungen signifikant von Kontrollvideos (nicht „halluzinogen“) unterschieden, während sie phänomenologische Ähnlichkeiten mit dem psychedelischen Zustand (nach Verabreichung von Psilocybin) aufwiesen.

Siehe auch

• Merkmalserkennung (Computer Vision)
• Neuronaler Stiltransfer
• Prozedurale Texturen
• Textursynthese

Verweise

Externe Links

• Deep Dream, Python- Notizbuch auf GitHub
• Mordwinzew, Alexander; Olah, Christopher; Tyka, Mike (17. Juni 2015). "Inceptionism: Deeper in neuronale Netze" . Archiviert vom Original am 03.07.2015.