High-Dynamic-Range-Bildgebung - High-dynamic-range imaging

Tone Mapping High-Dynamic-Range (HDR) Bild der St. Kentigern's Church in Blackpool , Lancashire, England

In der Fotografie und Videografie ist HDR oder High-Dynamic-Range-Bildgebung die Gruppe von Techniken, die verwendet werden, um einen größeren Helligkeitsbereich zu reproduzieren, als dies mit Standard-Fototechniken möglich ist. Standardtechniken erlauben eine Differenzierung nur innerhalb eines bestimmten Helligkeitsbereichs. Außerhalb dieses Bereichs sind keine Merkmale sichtbar, da in den helleren Bereichen alles reinweiß erscheint und in den dunkleren Bereichen reines Schwarz. Das Verhältnis zwischen dem Maximum und dem Minimum des Tonwerts in einem Bild wird als Dynamikbereich bezeichnet . HDR ist nützlich für die Aufnahme vieler realer Szenen mit sehr hellem, direktem Sonnenlicht bis hin zu extremem Schatten oder sehr schwachen Nebeln . HDR- Bilder (High Dynamic Range) werden häufig durch die Aufnahme und anschließende Kombination mehrerer unterschiedlicher Belichtungen desselben Motivs mit engerem Bereich erstellt .

Die beiden Haupttypen von HDR-Bildern sind Computer-Renderings und Bilder, die aus der Zusammenführung mehrerer Low-Dynamic-Range (LDR)- oder Standard-Dynamic-Range (SDR)-Fotos resultieren. HDR-Bilder können auch mit speziellen Bildsensoren aufgenommen werden , beispielsweise einem Oversampling-Binärbildsensor . Aufgrund der Einschränkungen von Druck und Displaykontrast muss der erweiterte Helligkeitsbereich der eingegebenen HDR-Bilder komprimiert werden, um sichtbar gemacht zu werden. Die Methode zum Rendern eines HDR-Bilds auf einem Standardmonitor oder Druckgerät wird als Tone Mapping bezeichnet . Diese Methode reduziert den Gesamtkontrast eines HDR-Bildes, um die Anzeige auf Geräten oder Ausdrucken mit geringerem Dynamikbereich zu erleichtern, und kann angewendet werden, um Bilder mit erhaltenem lokalem Kontrast (oder übertrieben für künstlerische Effekte) zu erzeugen.

"HDR" kann sich auf den Gesamtprozess, auf den HDR-Abbildungsprozess oder auf eine HDR-Abbildung beziehen, die auf einer Anzeige mit niedrigem Dynamikbereich wie einem Bildschirm oder einem Standard-.jpg-Bild dargestellt wird.

Emulation des menschlichen Sehsystems

Ein Ziel von HDR ist es, einen ähnlichen Luminanzbereich zu präsentieren, wie er durch das menschliche visuelle System wahrgenommen wird . Das menschliche Auge passt sich durch nichtlineare Reaktion, Anpassung der Iris und andere Methoden ständig an einen breiten Helligkeitsbereich in der Umgebung an. Das Gehirn interpretiert diese Informationen kontinuierlich, sodass ein Betrachter bei unterschiedlichsten Lichtverhältnissen sehen kann.

Standard-Foto- und Bildtechniken erlauben eine Differenzierung nur innerhalb eines bestimmten Helligkeitsbereichs. Außerhalb dieses Bereichs sind keine Merkmale sichtbar, da es in hellen Bereichen keine Differenzierung gibt, da alles nur reinweiß erscheint, und es gibt keine Differenzierung in dunkleren Bereichen, da alles rein schwarz erscheint. Nicht-HDR-Kameras nehmen Fotos mit einem begrenzten Belichtungsbereich auf, der als Low Dynamic Range (LDR) bezeichnet wird, was zu Detailverlust in Lichtern oder Schatten führt .

Fotografie

Dynamikbereiche gängiger Geräte
Gerät Haltestellen Kontrastverhältnis
Einzelbelichtung
Menschliches Auge: nahe Objekte 07,5 00150...200
Menschliches Auge: 4° Winkelabstand 13 08000...10000
Menschliches Auge (statisch) 10...14  01000...15000
Negativfilm ( Kodak VISION3 ) 13  08000
1/1,7" Kamera ( Nikon Coolpix P340) 11,9  03800
1" Kamera ( Canon PowerShot G7 X ) 12,7  06600
Vier-Drittel-DSLR-Kamera ( Panasonic Lumix DC-GH5 ) 13,0  08200
APS DSLR-Kamera ( Nikon D7200 ) 14,6  24800
Vollformat-DSLR-Kamera ( Nikon D810 ) 14.8  28500

In der Fotografie wird der Dynamikumfang in Belichtungswert (EV)-Differenzen gemessen , die als Blenden bezeichnet werden . Eine Erhöhung um einen EV oder eine Blende entspricht einer Verdoppelung der Lichtmenge. Umgekehrt bedeutet eine Abnahme um ein EV eine Halbierung der Lichtmenge. Daher erfordert das Aufdecken von Details in den dunkelsten Schatten hohe Belichtungen , während die Erhaltung von Details in sehr hellen Situationen sehr niedrige Belichtungen erfordert. Die meisten Kameras können diesen Bereich von Belichtungswerten aufgrund ihres geringen Dynamikbereichs nicht innerhalb einer einzigen Aufnahme bereitstellen. Fotografien mit hohem Dynamikbereich werden im Allgemeinen durch die Aufnahme mehrerer Bilder mit Standardbelichtung, oft unter Verwendung von Belichtungsreihen , und späteres Zusammenführen zu einem einzigen HDR-Bild, normalerweise innerhalb eines Fotobearbeitungsprogramms, erreicht .

Jede Kamera, die eine manuelle Belichtungssteuerung ermöglicht, kann Bilder für HDR-Arbeiten erstellen, obwohl eine mit automatischer Belichtungsreihe (AEB) weitaus besser geeignet ist. Bilder von Filmkameras sind weniger geeignet, da diese oft erst digitalisiert werden müssen, um später mit Software-HDR-Verfahren bearbeitet werden zu können.

Bei den meisten bildgebenden Geräten kann der Belichtungsgrad des aktiven Elements (sei es Film oder CCD ) auf zwei Arten geändert werden: entweder durch Erhöhen/Verringern der Blendengröße oder durch Erhöhen/Verringern der Zeit des jede Belichtung. Die Belichtungsvariation in einem HDR-Set erfolgt nur durch Ändern der Belichtungszeit und nicht der Blendengröße; Dies liegt daran, dass sich die Änderung der Blendengröße auch auf die Schärfentiefe auswirkt und die resultierenden Mehrfachbilder daher ziemlich unterschiedlich wären, was ihre endgültige Kombination zu einem einzigen HDR-Bild verhindert.

Eine wichtige Einschränkung für die HDR-Fotografie besteht darin, dass jede Bewegung zwischen aufeinanderfolgenden Bildern den Erfolg beim späteren Kombinieren behindert oder verhindert. Da man außerdem mehrere Bilder erstellen muss (oft drei oder fünf und manchmal mehr), um den gewünschten Luminanzbereich zu erhalten , benötigt ein solcher vollständiger Satz von Bildern zusätzliche Zeit. HDR-Fotografen haben Berechnungsmethoden und -techniken entwickelt, um diese Probleme teilweise zu überwinden, aber zumindest die Verwendung eines stabilen Stativs wird empfohlen.

Einige Kameras verfügen über eine Auto-Exposure-Bracketing-Funktion (AEB) mit einem weitaus größeren Dynamikbereich als andere, von 0,6 am unteren Ende bis 18 EV bei professionellen Top-Kameras ab 2020. Da diese Bildgebungsmethode immer beliebter wird, werden mehrere Kameras Hersteller bieten jetzt integrierte HDR-Funktionen an. Beispielsweise verfügt die Pentax K-7 DSLR über einen HDR-Modus, der ein HDR-Bild aufnimmt und (nur) eine tongemappte JPEG-Datei ausgibt. Die Canon PowerShot G12 , Canon PowerShot S95 und Canon PowerShot S100 bieten ähnliche Funktionen in einem kleineren Format. Nikons Ansatz heißt "Active D-Lighting", der Belichtungskorrektur und Tone-Mapping auf das Bild anwendet, das vom Sensor kommt, wobei der Schwerpunkt auf der Erzielung eines realistischen Effekts liegt. Einige Smartphones bieten HDR-Modi und die meisten mobilen Plattformen verfügen über Apps, die HDR-Aufnahmen ermöglichen.

Kameraeigenschaften wie Gammakurven , Sensorauflösung, Rauschen, photometrische Kalibrierung und Farbkalibrierung beeinflussen die resultierenden Bilder mit hohem Dynamikbereich.

Farbfilmnegative und -dias bestehen aus mehreren Filmschichten, die unterschiedlich auf Licht reagieren. Originalfilme (insbesondere Negative im Vergleich zu Dias oder Dias) weisen einen sehr hohen Dynamikumfang auf (in der Größenordnung von 8 für Negative und 4 bis 4,5 für Dias).

Tonzuordnung

Tone Mapping reduziert den Dynamikbereich oder das Kontrastverhältnis eines gesamten Bildes, während der lokalisierte Kontrast beibehalten wird. Obwohl es sich um einen eigenen Vorgang handelt, wird Tone Mapping häufig von demselben Softwarepaket auf HDRI-Dateien angewendet.

Auf PC-, Mac- und Linux-Plattformen sind mehrere Softwareanwendungen zum Erstellen von HDR-Dateien und Tone-Map-Bildern verfügbar. Bemerkenswerte Titel sind:

Vergleich mit herkömmlichen digitalen Bildern

Informationen, die in Bildern mit hohem Dynamikbereich gespeichert sind, entsprechen typischerweise den physikalischen Werten der Luminanz oder Strahlung , die in der realen Welt beobachtet werden können. Dies unterscheidet sich von herkömmlichen digitalen Bildern , die Farben so darstellen, wie sie auf einem Monitor oder einem Papierausdruck erscheinen sollten. Daher werden HDR-Bildformate oft als szenenbezogen bezeichnet , im Gegensatz zu herkömmlichen digitalen Bildern, die gerätebezogen oder ausgabebezogen sind . Darüber hinaus werden herkömmliche Bilder normalerweise für das menschliche visuelle System kodiert (maximale visuelle Informationen, die in der festen Anzahl von Bits gespeichert sind), was normalerweise als Gamma-Kodierung oder Gamma-Korrektur bezeichnet wird . Die für HDR-Bilder gespeicherten Werte sind oft gammakomprimiert ( Potenzgesetz ) oder logarithmisch kodiert oder Gleitkomma- Linearwerte, da Festkomma- Linearkodierungen über höhere Dynamikbereiche zunehmend ineffizient sind.

HDR-Bilder verwenden oft keine festen Bereiche pro Farbkanal – anders als herkömmliche Bilder –, um viel mehr Farben über einen viel größeren Dynamikbereich (mehrere Kanäle) darzustellen. Zu diesem Zweck verwenden sie keine ganzzahligen Werte zur Darstellung der einzelnen Farbkanäle (zB 0–255 in einem 8-Bit-pro-Pixel-Intervall für Rot, Grün und Blau), sondern verwenden eine Gleitkommadarstellung. Üblich sind 16-Bit- ( halbe Genauigkeit ) oder 32-Bit- Gleitkommazahlen zur Darstellung von HDR-Pixeln. Wenn jedoch die geeignete Übertragungsfunktion verwendet wird, können HDR-Pixel für einige Anwendungen mit einer Farbtiefe von nur 10–12 Bit für Luminanz und 8 Bit für Chrominanz dargestellt werden, ohne sichtbare Quantisierungsartefakte einzuführen.

Videografie

Die HDR-Aufnahmetechnik kann auch für Videos verwendet werden, indem mehrere Bilder für jeden Frame des Videos aufgenommen und zusammengeführt werden. Qualcomm bezieht sich darauf mit dem Begriff "Computationnal HDR Video Capture". Im Jahr 2020 kündigte Qualcomm Snapdragon 888 an, das in der Lage ist, computergestützte HDR-Videoaufnahmen in 4K und in einem HDR- Format zu erstellen . Das Xiaomi Mi 11 Ultra ist auch in der Lage, computergestütztes HDR für die Videoaufnahme durchzuführen.

Geschichte der HDR-Fotografie

Mitte des 19. Jahrhunderts

Ein Foto von 1856 von Gustave Le Gray

Die Idee, mehrere Belichtungen zu verwenden, um einen zu extremen Leuchtdichtebereich angemessen wiederzugeben, wurde bereits in den 1850er Jahren von Gustave Le Gray entwickelt , um Meereslandschaften zu rendern, die sowohl den Himmel als auch das Meer zeigen. Eine solche Darstellung war damals mit Standardmethoden nicht möglich, da der Helligkeitsbereich zu extrem war. Le Gray verwendete ein Negativ für den Himmel und ein weiteres mit längerer Belichtung für das Meer und kombinierte die beiden zu einem positiven Bild.

Mitte des 20. Jahrhunderts

Externes Bild
Bildsymbol Schweitzer an der Lampe von W. Eugene Smith

Manuelles Tone Mapping wurde durch Abweichen und Brennen erreicht  – selektives Erhöhen oder Verringern der Belichtung von Bereichen des Fotos, um eine bessere Tonwertwiedergabe zu erzielen. Dies war effektiv, da der Dynamikbereich des Negativs deutlich höher ist, als er auf dem fertigen Positiv-Papierabzug verfügbar wäre, wenn dieser gleichförmig über das Negativ belichtet wird. Ein hervorragendes Beispiel ist das Foto Schweitzer at the Lamp von W. Eugene Smith aus seinem 1954 erschienenen Fotoessay A Man of Mercy über Albert Schweitzer und seine humanitäre Arbeit in Französisch-Äquatorialafrika. Das Bild brauchte fünf Tage, um den Tonwertumfang der Szene zu reproduzieren, der von einer hellen Lampe (relativ zur Szene) bis zu einem dunklen Schatten reicht.

Ansel Adams erhob Ausweichen und Brennen zu einer Kunstform. Viele seiner berühmten Drucke wurden mit diesen beiden Methoden in der Dunkelkammer manipuliert. Adams schrieb ein umfassendes Buch über die Herstellung Drucke genannt Der Druck , der prominent Funktionen Ausweichen und Brennen im Rahmen seiner Zonensystem .

Mit dem Aufkommen der Farbfotografie war Tone Mapping in der Dunkelkammer aufgrund des spezifischen Timings, das während des Entwicklungsprozesses von Farbfilmen erforderlich war, nicht mehr möglich. Fotografen wandten sich an Filmhersteller, um neue Filmmaterialien mit verbesserter Reaktion zu entwickeln, oder fotografierten weiterhin in Schwarzweiß, um Tone-Mapping-Methoden zu verwenden.

Belichtungs-/Dichteeigenschaften von Wyckoffs Film mit verlängerter Belichtungsreaktion

Ein Farbfilm, der Bilder mit hohem Dynamikumfang direkt aufnehmen kann, wurde von Charles Wyckoff und EG&G „im Rahmen eines Vertrags mit dem Department of the Air Force “ entwickelt. Dieser XR-Film hatte drei Emulsionsschichten , eine obere Schicht mit einer ASA- Empfindlichkeitsbewertung von 400, eine mittlere Schicht mit einer mittleren Bewertung und eine untere Schicht mit einer ASA-Bewertung von 0,004. Der Film wurde ähnlich wie Farbfilme entwickelt und jede Schicht erzeugte eine andere Farbe. Der Dynamikumfang dieses Films mit erweitertem Bereich wurde auf 1:10 8 geschätzt . Es wurde verwendet, um nukleare Explosionen zu fotografieren, für die astronomische Fotografie, für die spektrographische Forschung und für die medizinische Bildgebung. Wyckoffs detaillierte Bilder von Atomexplosionen erschienen Mitte der 1950er Jahre auf dem Cover des Life- Magazins.

Ende des 20. Jahrhunderts

Georges Cornuéjols und die Lizenznehmer seiner Patente (Brdi, Hymatom) führten 1986 das Prinzip des HDR-Videobilds ein, indem sie einen Matrix-LCD-Bildschirm vor den Bildsensor der Kamera schalten und die Sensordynamik um fünf Stufen erhöhen.

Das Konzept des Nachbarschafts-Ton-Mappings wurde 1988 von einer Gruppe des Technion in Israel unter der Leitung von Oliver Hilsenrath und Yehoshua Y. Zeevi auf Videokameras angewendet . Die Forscher des Technion meldeten dieses Konzept 1991 zum Patent an und 1992 und 1993 mehrere verwandte Patente.

Im Februar und April 1990 stellte Georges Cornuéjols die erste Echtzeit-HDR-Kamera vor, die zwei Bilder kombinierte, die von einem Sensor oder gleichzeitig von zwei Sensoren der Kamera aufgenommen wurden. Dieser Vorgang wird als Belichtungsreihe für einen Videostream bezeichnet.

1991 wurde die erste kommerzielle Videokamera von Hymatom, Lizenznehmer von Georges Cornuéjols, eingeführt, die mehrere Bilder mit unterschiedlichen Belichtungen in Echtzeit aufnahm und ein HDR-Videobild produzierte.

Ebenfalls 1991 führte Georges Cornuéjols das HDR+-Bildprinzip durch nichtlineare Akkumulation von Bildern ein, um die Empfindlichkeit der Kamera zu erhöhen: Für Umgebungen mit wenig Licht werden mehrere aufeinanderfolgende Bilder akkumuliert, wodurch das Signal-Rausch-Verhältnis erhöht wird.

1993 produzierte eine weitere kommerzielle medizinische Kamera ein HDR-Videobild vom Technion.

Die moderne HDR-Bildgebung verwendet einen völlig anderen Ansatz, der auf der Erstellung einer Luminanz- oder Lichtkarte mit hohem Dynamikbereich unter Verwendung nur globaler Bildoperationen (über das gesamte Bild) und anschließendem Tone-Mapping des Ergebnisses basiert . Global HDR wurde erstmals 1993 eingeführt und führte zu einer mathematischen Theorie unterschiedlich belichteter Bilder desselben Themas, die 1995 von Steve Mann und Rosalind Picard veröffentlicht wurde .

Am 28. Oktober 1998 schaffte Ben Sarao einen der ersten Nacht HDR + G (High Dynamic Range + Grafik - Bild) von STS-95 auf der Startrampe bei NASA ‚s Kennedy Space Center . Es bestand aus vier Filmbildern des Space Shuttles bei Nacht, die mit zusätzlichen digitalen Grafikelementen digital zusammengesetzt wurden . Das Bild wurde erstmals 1999 in der Great Hall des NASA-Hauptquartiers in Washington DC ausgestellt und dann im Hasselblad Forum veröffentlicht .

Das Aufkommen von Consumer-Digitalkameras führte zu einer neuen Nachfrage nach HDR-Bildgebung, um die Lichtreaktion von Digitalkamerasensoren zu verbessern, die einen viel kleineren Dynamikbereich als Film hatten. Steve Mann hat am MIT Media Lab die Global-HDR-Methode zur Erzeugung digitaler Bilder mit erweitertem Dynamikumfang entwickelt und patentiert . Manns Methode beinhaltete eine zweistufige Prozedur: Zuerst ein Fließkomma-Bildarray durch reine globale Bildoperationen erzeugen (Operationen, die alle Pixel identisch beeinflussen, ohne Rücksicht auf ihre lokalen Nachbarschaften). Zweitens wandeln Sie dieses Bildarray unter Verwendung der lokalen Nachbarschaftsverarbeitung (Ton-Neuzuordnung usw.) in ein HDR-Bild um. Das im ersten Schritt des Mann-Verfahrens erzeugte Bildarray wird als Lichtraumbild , Lichtraumbild oder Radiance Map bezeichnet . Ein weiterer Vorteil der globalen HDR-Bildgebung besteht darin, dass sie Zugriff auf die Zwischenlicht- oder Strahlungskarte bietet, die für Computer Vision und andere Bildverarbeitungsvorgänge verwendet wurde.

21. Jahrhundert

Im Februar 2001 wurde die Dynamic Ranger-Technik demonstriert, bei der mehrere Fotos mit unterschiedlichen Belichtungsstufen verwendet wurden, um einen hohen Dynamikbereich ähnlich dem des bloßen Auges zu erzielen.

Im Jahr 2005 führte Adobe Systems mehrere neue Funktionen in Photoshop CS2 ein, darunter Merge to HDR , 32-Bit-Gleitkomma-Bildunterstützung und HDR-Ton-Mapping.

Am 30. Juni 2016 hat Microsoft die Unterstützung für das digitale Compositing von HDR-Bildern in Windows 10 mithilfe der universellen Windows-Plattform hinzugefügt .

Beispiele

HDR-Verarbeitung

Dies ist ein Beispiel für vier Standard-Dynamic-Range-Bilder, die kombiniert werden, um drei resultierende Tone-Mapping- Bilder zu erzeugen :

Belichtete Bilder
Ergebnisse nach der Verarbeitung

Dies ist ein Beispiel für eine Szene mit einem sehr großen Dynamikbereich:

Belichtete Bilder
Ergebnisse nach der Verarbeitung

Anomalien bei Mehrfachbelichtungen

Dieses von einem Smartphone aufgenommene Bild profitierte von HDR, indem es sowohl das schattige Gras als auch den hellen Himmel freilegte, aber der schnelle Golfschwung führte zu einem "Geisterschläger".

Ein sich schnell bewegendes Motiv (oder eine unstete Kamera) führt zu einem "Geister"-Effekt oder einem Stroboskop-Effekt mit versetzter Unschärfe, da die zusammengeführten Bilder nicht identisch sind, sondern jedes das sich bewegende Motiv zu einem anderen Zeitpunkt einfängt. mit seiner Position geändert. Plötzliche Änderungen der Lichtverhältnisse (LED-Stroboskoplicht) können die gewünschten Ergebnisse ebenfalls beeinträchtigen, indem eine oder mehrere HDR-Schichten erzeugt werden, die die von einem automatisierten HDR-System erwartete Leuchtkraft aufweisen, obwohl möglicherweise noch ein vernünftiges HDR-Bild erzeugt werden kann manuell in der Software, indem Sie die Bildebenen neu anordnen, um sie in der Reihenfolge ihrer tatsächlichen Helligkeit zu verschmelzen.

HDR-Sensoren

Moderne CMOS -Bildsensoren können oft einen hohen Dynamikbereich aus einer einzigen Aufnahme erfassen. Der breite Dynamikbereich des aufgenommenen Bildes wird nichtlinear in eine elektronische Darstellung mit kleinerem Dynamikbereich komprimiert. Bei richtiger Verarbeitung können die Informationen einer einzelnen Aufnahme jedoch verwendet werden, um ein HDR-Bild zu erstellen.

Eine solche HDR-Bildgebung wird in Anwendungen mit extremen Dynamikbereichen wie Schweißen oder Arbeiten im Automobilbereich verwendet. In Überwachungskameras wird anstelle von HDR der Begriff "Wide Dynamic Range" verwendet. Aufgrund der Nichtlinearität einiger Sensoren können Bildartefakte häufig auftreten. Einige andere Kameras, die für den Einsatz in Sicherheitsanwendungen entwickelt wurden, können automatisch zwei oder mehr Bilder für jedes Bild mit wechselnder Belichtung liefern. Zum Beispiel gibt ein Sensor für 30fps-Video 60fps mit den ungeraden Frames bei einer kurzen Belichtungszeit und den geraden Frames bei einer längeren Belichtungszeit aus. Einige der Sensoren moderner Telefone und Kameras können die beiden Bilder sogar auf dem Chip kombinieren, sodass dem Benutzer ein breiterer Dynamikbereich ohne In-Pixel-Komprimierung direkt zur Anzeige oder Verarbeitung zur Verfügung steht.

Siehe auch

Verweise

Externe Links