Demosaikierung - Demosaicing

Ein Auflösen der Mosaikstruktur (auch Entmosaikisieren , demosaicking oder Debayering ) Algorithmus ist eine digitale Bildverarbeitung verwendet , um ein Vollfarbbild aus der unvollständigen Farbproben Ausgabe zu rekonstruieren aus einem Bildsensor mit einer überlagerten Farbfilteranordnung (CFA). Es ist auch als CFA-Interpolation oder Farbrekonstruktion bekannt .

Die meisten modernen Digitalkameras erfassen Bilder mit einem einzigen Bildsensor, der mit einem CFA überlagert ist. Daher ist die Demosaikierung Teil der Verarbeitungspipeline, die erforderlich ist, um diese Bilder in ein sichtbares Format zu rendern.

Viele moderne Digitalkameras können Bilder in einem Rohformat speichern, sodass der Benutzer sie mithilfe von Software demosaikieren kann, anstatt die integrierte Firmware der Kamera zu verwenden .

Tor

Das Ziel eines Demosaikierungsalgorithmus besteht darin, ein Vollfarbbild (dh einen vollständigen Satz von Farbtripeln) aus den räumlich unterabgetasteten Farbkanälen zu rekonstruieren , die vom CFA ausgegeben werden. Der Algorithmus sollte die folgenden Merkmale aufweisen:

Farbfilter-Array

Die Bayer-Anordnung von Farbfiltern auf dem Pixelarray eines Bildsensors. Jede Zwei-mal-Zwei-Zelle enthält zwei grüne, einen blauen und einen roten Filter.

Eine Farbfilteranordnung ist ein Mosaik von Farbfiltern vor dem Bildsensor. Kommerziell ist die hier am häufigsten verwendete CFA-Konfiguration das hier dargestellte Bayer-Filter . Dies hat abwechselnd rote (R) und grüne (G) Filter für ungerade Zeilen und abwechselnde grüne (G) und blaue (B) Filter für gerade Zeilen. Es gibt doppelt so viele grüne Filter wie rote oder blaue, um der höheren Empfindlichkeit des menschlichen Auges gegenüber grünem Licht gerecht zu werden.

Da die Farbe Subsampling eines CFA durch seine Natur führt zu Aliasing , eineine optischer Antialiasing - Filter werden in der Regel in dem optischen Pfad zwischen dem Bildsensor plaziert und der Linse der falschen Farbartefakte (Chromatische Aliase) durch Interpolation eingeführt zu reduzieren.

Da sich jedes Pixel des Sensors hinter einem Farbfilter befindet, ist die Ausgabe ein Array von Pixelwerten, die jeweils eine Rohintensität einer der drei Filterfarben anzeigen. Daher wird ein Algorithmus benötigt, um für jedes Pixel die Farbpegel für alle Farbkomponenten und nicht für eine einzelne Komponente zu schätzen.

Illustration

Um ein Vollfarbbild aus den vom Farbfilterarray gesammelten Daten zu rekonstruieren, ist eine Form der Interpolation erforderlich, um die Lücken auszufüllen. Die Mathematik unterliegt hier einer individuellen Implementierung und wird Demosaikierung genannt.

In diesem Beispiel verwenden wir die bikubische Interpolation von Adobe Photoshop , um die Schaltung eines Bayer-Filtergeräts wie einer Digitalkamera zu simulieren .

Das folgende Bild simuliert die Ausgabe eines Bayer-gefilterten Bildsensors. Jedes Pixel hat nur eine rote, grüne oder blaue Komponente. Das entsprechende Originalbild wird neben der demosaikierten Rekonstruktion am Ende dieses Abschnitts angezeigt.

Shades gerahmt bayer.png
Bayer Filterproben
Shades bayer r.png Shades Bayer g.png Shades Bayer b.png
rot Grün Blau

Eine Digitalkamera hat typischerweise Mittel, um ein ganzes RGB-Bild unter Verwendung der obigen Informationen zu rekonstruieren. Das resultierende Bild könnte ungefähr so ​​aussehen:

Schattierungen gerahmt aa.jpg Shades gerahmt dc.jpg
Original Rekonstruiert

Das rekonstruierte Bild ist in der Regel in Bereichen mit einheitlichen Farben genau, weist jedoch einen Auflösungsverlust (Detail und Schärfe) und Kantenartefakte auf (z. B. weisen die Kanten von Buchstaben sichtbare Farbsäume und eine gewisse Rauheit auf).

Algorithmen

Einfache Interpolation

Diese Algorithmen sind Beispiele für die multivariate Interpolation in einem einheitlichen Raster, wobei relativ einfache mathematische Operationen für nahegelegene Instanzen derselben Farbkomponente verwendet werden. Die einfachste Methode ist die Interpolation zum nächsten Nachbarn, bei der einfach ein benachbartes Pixel desselben Farbkanals kopiert wird. Es ist für jede Anwendung ungeeignet, bei der es auf die Qualität ankommt, kann jedoch bei begrenzten Rechenressourcen zum Generieren von Vorschauen hilfreich sein. Eine andere einfache Methode ist die bilineare Interpolation , bei der der Rotwert eines nicht roten Pixels als Durchschnitt der zwei oder vier benachbarten roten Pixel berechnet wird, und dies gilt auch für Blau und Grün. Komplexere Methoden, die unabhängig voneinander in jeder Farbebene interpolieren , umfassen bikubische Interpolation , Spline-Interpolation und Lanczos-Resampling .

Obwohl diese Verfahren in homogenen Bildbereichen gute Ergebnisse erzielen können, sind sie bei Verwendung mit reinfarbigen CFAs anfällig für schwerwiegende Demosaikierungsartefakte in Bereichen mit Kanten und Details. Eine lineare Interpolation kann jedoch in Kombination mit einem räumlich-spektralen (panchromatischen) CFA sehr gute Ergebnisse erzielen. Man könnte einfache Formationsmodelle von Bildern für die Demosaikierung nutzen. Bei natürlichen Bildern innerhalb desselben Segments sollte das Farbverhältnis erhalten bleiben. Diese Tatsache wurde in einer bildempfindlichen Interpolation zum Demosaikieren ausgenutzt.

Pixelkorrelation innerhalb eines Bildes

Anspruchsvollere Demosaikierungsalgorithmen nutzen die räumliche und / oder spektrale Korrelation von Pixeln innerhalb eines Farbbildes. Die räumliche Korrelation ist die Tendenz von Pixeln, ähnliche Farbwerte innerhalb eines kleinen homogenen Bereichs eines Bildes anzunehmen. Die spektrale Korrelation ist die Abhängigkeit zwischen den Pixelwerten verschiedener Farbebenen in einem kleinen Bildbereich.

Diese Algorithmen umfassen:

  • Die Interpolation mit variabler Gradientenanzahl (VNG) berechnet Gradienten in der Nähe des interessierenden Pixels und verwendet die niedrigeren Gradienten (die glattere und ähnlichere Teile des Bildes darstellen), um eine Schätzung vorzunehmen. Es wird in ersten Versionen von dcraw verwendet und weist Farbartefakte auf.
  • Bei der Pixelgruppierung (PPG) werden Annahmen zur natürlichen Landschaft verwendet, um Schätzungen vorzunehmen. Es weist weniger Farbartefakte auf natürlichen Bildern auf als die Methode mit variabler Anzahl von Verläufen. es wurde in dcraw von rel eingeführt. 8.71 als "Gemusterte Pixelgruppierung".
  • Adaptive Homogenity-Directed (AHD) ist etwas der Industriestandard. Die Interpolation wählt die Interpolationsrichtung aus, um eine Homogenitätsmetrik zu maximieren und so typischerweise Farbartefakte zu minimieren. Es wurde in neueren Versionen von dcraw implementiert.
  • Aliasing-Minimierung und Zipper-Eliminierung (AMaZE), entworfen von Emil J. Martinec, langsam, aber mit einer großartigen Leistung speziell für rauscharme Aufnahmen. Implementierungen von AMaZE finden Sie in RawTherapee und darktable .

Video-Superauflösung / Demosaikierung

Es hat sich gezeigt, dass Superauflösung und Demosaikierung zwei Gesichter desselben Problems sind und es sinnvoll ist, sie in einem einheitlichen Kontext anzusprechen. Beachten Sie, dass beide Probleme das Aliasing-Problem beheben. Insbesondere bei der Video- (Multi-Frame-) Rekonstruktion bietet daher ein gemeinsamer Ansatz mit Superauflösung und Demosaikierung die optimale Lösung.

Kompromisse

Einige Methoden führen möglicherweise zu besseren Ergebnissen für natürliche Szenen, andere beispielsweise für Drucksachen. Dies spiegelt das inhärente Problem der Schätzung von Pixeln wider, die nicht definitiv bekannt sind. Natürlich gibt es auch den allgegenwärtigen Kompromiss zwischen Geschwindigkeit und Qualität der Schätzung.

Verwendung in Computer-Bildverarbeitungssoftware

Wenn man von einer Digitalkamera aus auf die Rohbilddaten zugreifen kann, kann man Computersoftware mit einer Vielzahl verschiedener Demosaikierungsalgorithmen verwenden, anstatt sich auf die in die Kamera eingebaute zu beschränken. Einige Rohentwicklungsprogramme wie RawTherapee bieten dem Benutzer die Möglichkeit, den zu verwendenden Algorithmus auszuwählen. Die meisten Programme sind jedoch so codiert, dass sie eine bestimmte Methode verwenden. Die Unterschiede beim Rendern der feinsten Details (und der Kornstruktur), die sich aus der Wahl des Demosaikierungsalgorithmus ergeben, gehören zu den Hauptunterschieden zwischen verschiedenen Rohentwicklern. Oft bevorzugen Fotografen aus ästhetischen Gründen, die mit diesem Effekt zusammenhängen, ein bestimmtes Programm.

Die Farbartefakte aufgrund der Demosaikierung liefern wichtige Hinweise zur Identifizierung von Fotofälschungen.

Siehe auch

Verweise

Externe Links