Bayer-Filter - Bayer filter
Ein Bayer-Filtermosaik ist ein Farbfilterarray (CFA) zum Anordnen von RGB- Farbfiltern auf einem quadratischen Raster von Fotosensoren. Seine besondere Anordnung der Farbfilter wird in den meisten digitalen Einzelchip -Bildsensoren verwendet, die in Digitalkameras, Camcordern und Scannern verwendet werden, um ein Farbbild zu erzeugen. Das Filtermuster ist halb grün, ein Viertel rot und ein Viertel blau und wird daher auch BGGR, RGBG , GRBG oder RGGB genannt .
Es ist nach seinem Erfinder Bryce Bayer von Eastman Kodak benannt . Bayer ist auch für seine rekursiv definierte Matrix bekannt, die beim geordneten Dithering verwendet wird .
Alternativen zum Bayer-Filter sind sowohl verschiedene Farb- und Anordnungsmodifikationen als auch ganz andere Technologien, wie das Color-Co-Site-Sampling , der Foveon X3-Sensor , die dichroitischen Spiegel oder ein transparentes diffraktives Filter-Array.
Erläuterung
- Originalszene
- Ausgabe eines 120×80-Pixel-Sensors mit Bayer-Filter
- Ausgabe farbcodiert mit Bayer-Filterfarben
- Rekonstruiertes Bild nach Interpolation fehlender Farbinformationen
- Voll-RGB-Version mit 120×80-Pixel zum Vergleich (zB als Filmscan, Foveon- oder Pixel-Shift- Bild kann erscheinen)
Bryce Bayers Patent (US-Patent Nr. 3,971,065) aus dem Jahr 1976 bezeichnete die grünen Photosensoren als luminanzempfindliche Elemente und die roten und blauen als chrominanzempfindliche Elemente . Er verwendete doppelt so viele grüne Elemente wie rote oder blaue, um die Physiologie des menschlichen Auges nachzuahmen . Die Luminanzwahrnehmung der menschlichen Netzhaut verwendet beim Tageslichtsehen kombinierte M- und L- Zapfenzellen , die am empfindlichsten auf grünes Licht reagieren. Diese Elemente werden als Sensorelemente , Sensels , Pixelsensoren oder einfach Pixel bezeichnet ; von ihnen erfasste Abtastwerte werden nach der Interpolation zu Bildpixeln . Als Bayer sein Patent anmeldete, schlug er auch vor, eine Cyan-Magenta-Gelb- Kombination zu verwenden, also einen weiteren Satz gegensätzlicher Farben. Diese Anordnung war damals unpraktisch, da die notwendigen Farbstoffe nicht existierten, aber in einigen neuen Digitalkameras verwendet wird. Der große Vorteil der neuen CMY-Farbstoffe besteht darin, dass sie eine verbesserte Lichtabsorptionseigenschaft aufweisen; das heißt, ihre Quanteneffizienz ist höher.
Der rohe Ausgang von Bayer-Filter - Kameras als bezeichnetes Bayer - Muster - Bild. Da jedes Pixel gefiltert wird, um nur eine von drei Farben aufzuzeichnen, können die Daten von jedem Pixel nicht jeden der Rot-, Grün- und Blauwerte für sich allein vollständig spezifizieren. Um ein Vollfarbenbild zu erhalten, können verschiedene Demosaicing- Algorithmen verwendet werden, um einen Satz vollständiger Rot-, Grün- und Blauwerte für jedes Pixel zu interpolieren . Diese Algorithmen verwenden die umgebenden Pixel der entsprechenden Farben, um die Werte für ein bestimmtes Pixel zu schätzen.
Unterschiedliche Algorithmen, die unterschiedliche Rechenleistung erfordern, führen zu Endbildern unterschiedlicher Qualität. Dies kann kameraintern erfolgen, indem ein JPEG- oder TIFF- Bild erstellt wird, oder außerhalb der Kamera mithilfe der Rohdaten direkt vom Sensor. Da die Rechenleistung des Kameraprozessors begrenzt ist, ziehen es viele Fotografen vor, diese Vorgänge manuell auf einem PC durchzuführen. Je günstiger die Kamera, desto weniger Möglichkeiten, diese Funktionen zu beeinflussen. Bei professionellen Kameras fehlen Bildkorrekturfunktionen komplett oder können abgeschaltet werden. Die Aufnahme im Raw-Format bietet die Möglichkeit, den Demosaicing- Algorithmus manuell auszuwählen und die Transformationsparameter zu steuern, was nicht nur in der Consumer-Fotografie, sondern auch bei der Lösung verschiedener technischer und photometrischer Probleme verwendet wird.
Demosaicing
Demosaicing kann auf unterschiedliche Weise durchgeführt werden. Einfache Methoden interpolieren den Farbwert der Pixel derselben Farbe in der Nachbarschaft. Sobald der Chip beispielsweise mit einem Bild belichtet wurde, kann jedes Pixel gelesen werden. Ein Pixel mit Grünfilter liefert eine genaue Messung des Grünanteils. Die Rot- und Blauanteile für dieses Pixel werden von den Nachbarn bezogen. Für ein grünes Pixel können zwei rote Nachbarn interpoliert werden, um den Rotwert zu erhalten, auch zwei blaue Pixel können interpoliert werden, um den Blauwert zu erhalten.
Dieser einfache Ansatz funktioniert gut in Bereichen mit konstanter Farbe oder sanften Farbverläufen, kann jedoch in Bereichen mit abrupten Farb- oder Helligkeitsänderungen, die besonders an scharfen Kanten im Bild erkennbar sind, zu Artefakten wie Farbverlauf führen. Aus diesem Grund versuchen andere Demosaicing-Verfahren, kontrastreiche Kanten zu identifizieren und nur entlang dieser Kanten zu interpolieren, aber nicht über sie hinweg.
Andere Algorithmen gehen davon aus, dass die Farbe eines Bildbereichs auch bei wechselnden Lichtverhältnissen relativ konstant ist, sodass die Farbkanäle stark miteinander korreliert sind. Daher wird zuerst der Grünkanal, dann der Rot- und danach der Blaukanal interpoliert, so dass das Farbverhältnis Rot-Grün bzw. Blau-Grün konstant ist. Es gibt andere Methoden, die andere Annahmen über den Bildinhalt machen und davon ausgehend versuchen, die fehlenden Farbwerte zu berechnen.
Artefakte
Bilder mit kleinen Details nahe der Auflösungsgrenze des digitalen Sensors können für den Demosaicing-Algorithmus ein Problem darstellen und ein Ergebnis erzeugen, das nicht wie das Modell aussieht. Das häufigste Artefakt ist Moiré , das als sich wiederholende Muster, Farbartefakte oder Pixel erscheinen kann, die in einem unrealistischen Labyrinth-ähnlichen Muster angeordnet sind.
Falschfarbenartefakt
Ein häufiges und unglückliches Artefakt der Color Filter Array (CFA) Interpolation oder Demosaicing ist das, was als Falschfärbung bekannt und angesehen wird. Typischerweise manifestiert sich dieses Artefakt entlang von Kanten, wo abrupte oder unnatürliche Farbverschiebungen als Ergebnis einer Fehlinterpolation über eine Kante statt entlang einer Kante auftreten. Es gibt verschiedene Verfahren, um diese Fehlfärbung zu verhindern und zu entfernen. Während des Demosaicings wird eine sanfte Farbtonübergangsinterpolation verwendet, um zu verhindern, dass sich falsche Farben im endgültigen Bild manifestieren. Es gibt jedoch andere Algorithmen, die falsche Farben nach dem Demosaicing entfernen können. Diese haben den Vorteil, falsche Farbartefakte aus dem Bild zu entfernen, während ein robusterer Demosaicing-Algorithmus zum Interpolieren der roten und blauen Farbebenen verwendet wird.
Reißverschlussartefakt
Das Zipper-Artefakt ist ein weiterer Nebeneffekt des CFA-Demosaicing, der ebenfalls hauptsächlich entlang von Kanten auftritt, und wird als Zipper-Effekt bezeichnet. Einfach gesagt, Reißverschluss ist ein anderer Name für Kantenunschärfe, die in einem Ein/Aus-Muster entlang einer Kante auftritt. Dieser Effekt tritt auf, wenn der Demosaicing-Algorithmus Pixelwerte über eine Kante mittelt, insbesondere in den roten und blauen Ebenen, was zu seiner charakteristischen Unschärfe führt. Wie bereits erwähnt, sind die besten Methoden, um diesen Effekt zu verhindern, die verschiedenen Algorithmen, die entlang statt über Bildkanten interpolieren. Die Mustererkennungsinterpolation, die adaptive Farbebeneninterpolation und die richtungsgewichtete Interpolation versuchen alle, das Reißen durch Interpolieren entlang der im Bild erkannten Kanten zu verhindern.
Aber selbst mit einem theoretisch perfekten Sensor, der alle Farben an jeder Fotostelle erfassen und unterscheiden könnte, könnten Moiré und andere Artefakte auftreten. Dies ist eine unvermeidliche Folge jedes Systems, das ein ansonsten kontinuierliches Signal in diskreten Intervallen oder Orten abtastet. Aus diesem Grund enthalten die meisten fotografischen Digitalsensoren einen sogenannten optischen Tiefpassfilter (OLPF) oder einen Anti-Aliasing-Filter (AA) . Dies ist in der Regel eine dünne Schicht direkt vor dem Sensor und verwischt effektiv alle potenziell problematischen Details, die feiner als die Auflösung des Sensors sind.
Änderungen
Der Bayer-Filter ist bei Consumer-Digitalkameras fast universell einsetzbar. Alternativen sind der CYGM-Filter ( Cyan , Gelb , Grün, Magenta ) und der RGBE-Filter (Rot, Grün, Blau, Smaragd ), die ein ähnliches Demosaicing erfordern. Der Foveon X3-Sensor (der rote, grüne und blaue Sensoren vertikal schichtet, anstatt ein Mosaik zu verwenden) und Anordnungen von drei separaten CCDs (eine für jede Farbe) benötigen kein Demosaicing.
"Panchromatische" Zellen
Am 14. Juni 2007 kündigte Eastman Kodak eine Alternative zum Bayer-Filter an: ein Farbfiltermuster, das die Lichtempfindlichkeit des Bildsensors in einer Digitalkamera durch die Verwendung einiger "panchromatischer" Zellen erhöht, die für alle Wellenlängen des sichtbaren Lichts empfindlich sind Licht und sammeln eine größere Lichtmenge, die auf den Sensor trifft. Sie präsentieren mehrere Muster, aber keines mit einer sich wiederholenden Einheit, die so klein ist wie die 2×2-Einheit des Bayer-Musters.
Eine weitere US-Patentanmeldung von 2007 von Edward T. Chang beansprucht einen Sensor, bei dem "der Farbfilter ein Muster aufweist, das 2 × 2 Pixelblöcke umfasst, die aus einem roten, einem blauen, einem grünen und einem transparenten Pixel bestehen" in einer beabsichtigten Konfiguration Infrarot-Empfindlichkeit für eine höhere Gesamtempfindlichkeit enthalten. Die Patentanmeldung von Kodak war früher.
Solche Zellen wurden früher in " CMYW " (Cyan, Magenta, Gelb und Weiß) "RGBW" (Rot, Grün, Blau, Weiß) Sensoren verwendet, aber Kodak hat das neue Filtermuster noch nicht damit verglichen.
Fujifilm "EXR" Farbfilter-Array
Die EXR-Farbfilter-Arrays von Fujifilm werden sowohl in CCD ( SuperCCD ) als auch in CMOS (BSI CMOS) hergestellt. Wie beim SuperCCD ist der Filter selbst um 45 Grad gedreht. Im Gegensatz zu herkömmlichen Bayer-Filterdesigns gibt es immer zwei benachbarte Photosites, die dieselbe Farbe erkennen. Der Hauptgrund für diese Art von Array besteht darin, zum Pixel-"Binning" beizutragen, bei dem zwei benachbarte Photosites zusammengeführt werden können, wodurch der Sensor selbst "lichtempfindlicher" wird. Ein weiterer Grund ist, dass der Sensor zwei verschiedene Aufnahmen aufnimmt, die dann zu einem Bild mit größerem Dynamikumfang zusammengefügt werden. Die darunterliegende Schaltung hat zwei Auslesekanäle, die ihre Informationen aus abwechselnden Reihen des Sensors beziehen. Das Ergebnis ist, dass er wie zwei verschachtelte Sensoren wirken kann, mit unterschiedlichen Belichtungszeiten für jede Hälfte der Photosites. Die Hälfte der Photosites kann absichtlich unterbelichtet werden, damit sie die helleren Bereiche der Szene vollständig einfangen. Diese gespeicherten Lichterinformationen können dann mit der Ausgabe der anderen Hälfte des Sensors, die eine "volle" Belichtung aufzeichnet, gemischt werden, wobei wiederum der enge Abstand ähnlich gefärbter Photosites genutzt wird.
Fujifilm "X-Trans"-Filter
Der Fujifilm X-Trans CMOS-Sensor, der in vielen Kameras der Fujifilm X-Serie verwendet wird, soll eine bessere Beständigkeit gegen Farbmoiré bieten als der Bayer-Filter, und als solcher können sie ohne Anti-Aliasing-Filter hergestellt werden. Dies wiederum ermöglicht es Kameras, die den Sensor verwenden, bei gleicher Megapixelzahl eine höhere Auflösung zu erreichen. Außerdem soll das neue Design das Auftreten von Falschfarben reduzieren, indem in jeder Zeile rote, blaue und grüne Pixel verwendet werden. Die Anordnung dieser Pixel soll auch mehr Körnung wie bei einem Film liefern .
Einer der Hauptnachteile besteht darin, dass die Unterstützung für benutzerdefinierte Muster in Rohverarbeitungssoftware von Drittanbietern wie Adobe Photoshop Lightroom, bei der das Hinzufügen von Verbesserungen mehrere Jahre dauerte, möglicherweise nicht vollständig unterstützt wird .
Quad Bayer
Sony hat das Quad Bayer-Farbfilter-Array eingeführt, das erstmals im Huawei P20 Pro vorgestellt wurde, das am 27. März 2018 veröffentlicht wurde. Quad Bayer ähnelt dem Bayer-Filter, jedoch haben benachbarte 2x2 Pixel die gleiche Farbe, das 4x4-Muster enthält 4x Blau, 4x Rot, und 8x grün. Bei dunkleren Szenen kann die Signalverarbeitung Daten aus jeder 2x2-Gruppe kombinieren, im Wesentlichen wie ein größeres Pixel. Für hellere Szenen kann die Signalverarbeitung den Quad Bayer in einen herkömmlichen Bayer-Filter umwandeln, um eine höhere Auflösung zu erreichen. Die Pixel in Quad Bayer können in Langzeitintegration und Kurzzeitintegration betrieben werden, um Single-Shot-HDR zu erreichen und Blending-Probleme zu reduzieren. Quad Bayer ist auch als Tetracell von Samsung und 4-cell von OmniVision bekannt .
Am 26. März 2019 wurde die Huawei P30-Serie mit RYYB Quad Bayer angekündigt, wobei das 4x4-Muster 4x Blau, 4x Rot und 8x Gelb aufweist.
Nonacell
Am 12. Februar 2020 wurde das Samsung Galaxy S20 Ultra mit Nonacell CFA angekündigt. Nonacell CFA ähnelt dem Bayer-Filter, jedoch haben benachbarte 3x3 Pixel dieselbe Farbe, das 6x6-Muster weist 9x Blau, 9x Rot und 18x Grün auf.
Siehe auch
Verweise
- US-Patent 3971065 , Bryce E. Bayer, "Color Imaging Array", ausgestellt am 20.07.1976 im Internet
Anmerkungen
Externe Links
- RGB "Bayer" Color and MicroLenses , Silicon Imaging (Design, Herstellung und Vertrieb von hochauflösenden Digitalkameras und Bildverarbeitungslösungen)
- eLynx-Bildverarbeitungsbibliothek , Großer Satz von Bayer-Quellcode zur Mosaik-Manipulation, lizenziert unter der GPL.
- Effiziente, hochwertige Bayer-Demosaikfilterung auf GPUs
- Globale Computer Vision
- Überprüfung des Bayer Pattern Color Filter Array (CFA) Demosaicing mit neuen Qualitätsbewertungsalgorithmen
- Digitalkamerasensoren