Bildprozessor - Image processor
Ein Bildprozessor , auch bekannt als Bildverarbeitungs-Engine , Bildverarbeitungseinheit ( IPU ) oder Bildsignalprozessor ( ISP ), ist eine Art Medienprozessor oder spezialisierter digitaler Signalprozessor (DSP), der für die Bildverarbeitung in Digitalkameras oder andere Geräte. Bildprozessoren verwenden oft paralleles Computing sogar mit SIMD- oder MIMD- Technologien, um Geschwindigkeit und Effizienz zu erhöhen. Die digitale Bildverarbeitungsmaschine kann eine Reihe von Aufgaben ausführen. Um die Systemintegration auf Embedded-Geräten zu erhöhen, handelt es sich oft um ein System-on-a-Chip mit Multi-Core-Prozessorarchitektur .
Funktion
Bayer-Transformation
Die in einem Bildsensor eingesetzten Fotodioden sind von Natur aus farbenblind: Sie können nur Graustufen aufnehmen. Um Farbe ins Bild zu bringen, werden sie mit verschiedenen Farbfiltern belegt: Rot, Grün und Blau ( RGB ) nach dem Muster, das der Bayer-Filter – benannt nach seinem Erfinder – bezeichnet. Da jede Fotodiode die Farbinformationen für genau einen Pixel des Bildes aufzeichnet , würde ohne Bildprozessor neben jedem roten und blauen Pixel ein grünes Pixel liegen. (Eigentlich gibt es bei den meisten Sensoren zwei grüne für jede blaue und rote Diode.)
Dieser Vorgang ist jedoch recht komplex und beinhaltet eine Reihe verschiedener Operationen. Seine Qualität hängt weitgehend von der Effektivität der Algorithmen ab, die auf die vom Sensor kommenden Rohdaten angewendet werden. Die mathematisch manipulierten Daten werden zur aufgezeichneten Fotodatei.
Demosaicing
Wie oben erwähnt, wertet der Bildprozessor die Farb- und Helligkeitsdaten eines gegebenen Pixels aus, vergleicht sie mit den Daten von benachbarten Pixeln und verwendet dann einen Demosaicing- Algorithmus, um einen geeigneten Farb- und Helligkeitswert für das Pixel zu erzeugen. Der Bildprozessor bewertet auch das gesamte Bild, um die richtige Kontrastverteilung zu erraten. Durch Anpassen des Gammawerts (Erhöhen oder Verringern des Kontrastbereichs der Mitteltöne eines Bildes) werden subtile Tonabstufungen, wie beispielsweise bei menschlicher Haut oder dem Blau des Himmels, viel realistischer.
Lärmreduzierung
Rauschen ist ein Phänomen, das in jeder elektronischen Schaltung zu finden ist. In der digitalen Fotografie ist seine Wirkung oft als zufällige Flecken mit offensichtlich falscher Farbe in einem ansonsten glatt gefärbten Bereich sichtbar. Das Rauschen nimmt mit der Temperatur und den Einwirkzeiten zu. Bei höheren ISO- Einstellungen wird das elektronische Signal im Bildsensor verstärkt, was gleichzeitig den Rauschpegel erhöht, was zu einem geringeren Signal-Rausch-Verhältnis führt . Der Bildprozessor versucht, das Rauschen von den Bildinformationen zu trennen und zu entfernen. Dies kann eine ziemliche Herausforderung sein, da das Bild Bereiche mit feinen Texturen enthalten kann, die, wenn sie als Rauschen behandelt werden, einen Teil ihrer Definition verlieren können.
Bildschärfung
Da die Farb- und Helligkeitswerte für jedes Pixel interpoliert werden, wird eine gewisse Bildweichmachung angewendet, um aufgetretene Unschärfen auszugleichen. Um den Eindruck von Tiefe, Klarheit und feinen Details zu erhalten, muss der Bildprozessor Kanten und Konturen schärfen. Es muss daher Kanten korrekt erkennen und diese glatt und ohne Überschärfen reproduzieren.
Modelle
Benutzer von Bildprozessoren verwenden Industriestandardprodukte, anwendungsspezifische Standardprodukte (ASSP) oder sogar anwendungsspezifische integrierte Schaltkreise (ASIC) mit Handelsnamen: Canons heißt DIGIC , Nikons Expeed , Olympus' TruePic, Panasonics Venus Engine und Sonys Bionz . Von einigen ist bekannt, dass sie auf Fujitsu Milbeaut , Texas Instruments OMAP , Panasonic MN103 , Zoran Coach, Altek Sunny oder Sanyo Bild-/Videoprozessoren basieren .
In Mobiltelefonen werden häufig Prozessoren der ARM-Architektur mit ihren NEON SIMD Media Processing Engines (MPE) eingesetzt .
Markennamen der Prozessoren
- ATI - Imageon (Grafik-Co-Prozessor, der in vielen frühen Handyfotos verwendet wurde, um die Verarbeitung des Kamerabildsignals zu ermöglichen)
- Canon - DIGIC (basierend auf Texas Instruments OMAP )
- Casio - EXILIM-Motor
- Epson - EDiART
- Fujifilm - EXR III oder X Prozessor Pro
- Google – Pixel Visual Core
- Minolta / Konica Minolta - SUPHEED mit CxProcess
- Leica - MAESTRO (basierend auf Fujitsu Milbeaut )
- Nikon - Expeed (basierend auf Fujitsu Milbeaut )
- Olympus - TruePic (basierend auf Panasonic MN103 /MN103S)
- Panasonic - Venus Engine (basierend auf Panasonic MN103 /MN103S)
- Pentax - PRIME (Pentax Real IMage Engine) (neuere Varianten basierend auf Fujitsu Milbeaut )
- Qualcomm - Qualcomm Spectra
- Ricoh - GR-Engine (GR digital), Smooth Imaging Engine
- Samsung - DRIMe (basierend auf Samsung Exynos )
- Sanyo - Platinum-Motor
- Sigma - Wahr
- Scharf - ProPix
- Socionext - Milbeaut- Familie von ISPs - SC2000 (M-10V), SC2002 (M-11S)
- Sony - Bionz
- THine - THP-Serie [1] mit kompatiblem SDK-Kit zur Entwicklung von Firmware [2]
- HTC - ImageSense
Geschwindigkeit
Mit der immer höheren Pixelzahl der Bildsensoren wird die Geschwindigkeit des Bildprozessors kritischer: Fotografen wollen nicht warten, bis der Bildprozessor der Kamera seine Arbeit erledigt hat, bevor sie weiter fotografieren können - sie wollen es nicht einmal bemerken In der Kamera wird etwas verarbeitet. Daher müssen Bildprozessoren optimiert werden, um mehr Daten in derselben oder sogar in kürzerer Zeit zu verarbeiten.