Hochauflösende Bildgebung - Super-resolution imaging

Super-Resolution Imaging ( SR ) ist eine Klasse von Techniken, die die Auflösung eines bildgebenden Systems verbessern (erhöhen) . Bei der optischen SR wird die Beugungsgrenze von Systemen überschritten, während bei der geometrischen SR die Auflösung digitaler Bildsensoren erhöht wird.

In einigen Radar- und Sonar- Bildgebungsanwendungen (z. B. Magnetresonanztomographie (MRI), hochauflösende Computertomographie ), werden auf Unterraumzerlegung basierende Methoden (z. B. MUSIC ) und auf Compressed Sensing basierende Algorithmen (z. B. SAMV ) verwendet, um eine SR über dem Standard zu erreichen Periodogramm- Algorithmus.

Superauflösende Bildgebungsverfahren werden in der allgemeinen Bildverarbeitung und in der superauflösenden Mikroskopie verwendet .

Grundlegendes Konzept

Da einige der Ideen zur Superauflösung grundsätzliche Fragen aufwerfen, müssen zunächst die relevanten physikalischen und informationstheoretischen Grundlagen untersucht werden:

  • Beugungsgrenze : Das Detail eines physikalischen Objekts, das ein optisches Instrument in einem Bild wiedergeben kann, hat Grenzen, die durch physikalische Gesetze vorgeschrieben sind, sei es durch die Beugungsgleichungen der Wellentheorie des Lichts oder äquivalent das Unschärfeprinzip für Photonen in der Quantenmechanik . Die Informationsübertragung kann niemals über diese Grenze hinaus gesteigert werden, aber Pakete außerhalb der Grenzen können geschickt gegen einige innerhalb derselben ausgetauscht (oder mit ihnen gemultiplext) werden. Man „bricht“ nicht so sehr, sondern „umläuft“ die Beugungsgrenze. Neue Verfahren zur Sondierung elektromagnetischer Störungen auf molekularer Ebene (im sogenannten Nahfeld) bleiben vollständig mit den Maxwell-Gleichungen vereinbar .
    • Ortsfrequenzbereich: Ein prägnanter Ausdruck der Beugungsgrenze ist im Ortsfrequenzbereich gegeben. In der Fourier-Optik werden Lichtverteilungen als Überlagerungen einer Reihe von Gitterlichtmustern in einem Bereich von Streifenbreiten, technisch Raumfrequenzen, ausgedrückt . Es wird allgemein gelehrt, dass die Beugungstheorie eine obere Grenze, die Grenz-Raumfrequenz, festlegt, oberhalb derer Musterelemente nicht in das optische Bild übertragen werden, dh nicht aufgelöst werden. Aber tatsächlich wird durch die Beugungstheorie die Breite des Durchlassbandes festgelegt, nicht eine feste Obergrenze. Es werden keine physikalischen Gesetze gebrochen, wenn ein Ortsfrequenzband jenseits der Grenz-Spatialfrequenz gegen ein darin befindliches getauscht wird: In der Dunkelfeldmikroskopie wird dies seit langem umgesetzt . Auch bei der Überlagerung mehrerer Bänder werden informationstheoretische Regeln nicht gebrochen, deren Entflechtung im empfangenen Bild erfordert Annahmen der Objektinvarianz bei Mehrfachbelichtungen, dh die Substitution einer Art von Unsicherheit durch eine andere.
  • Information : Wenn der Begriff Superauflösung in Techniken verwendet wird, um Objektdetails aus der statistischen Behandlung des Bildes innerhalb der Standardauflösungsgrenzen abzuleiten, z eine andere (die Annahme, dass das Ziel invariant geblieben ist).
  • Auflösung und Lokalisierung: Wahre Auflösung beinhaltet die Unterscheidung, ob ein Ziel, zB ein Stern oder eine Spektrallinie, einfach oder doppelt ist, was normalerweise trennbare Peaks im Bild erfordert. Wenn bekannt ist, dass ein Ziel einzeln ist, kann seine Position mit höherer Genauigkeit als die Bildbreite bestimmt werden, indem der Schwerpunkt (Schwerpunkt) seiner Bildlichtverteilung ermittelt wird. Für dieses Verfahren wurde das Wort Ultra-Resolution vorgeschlagen, das sich jedoch nicht durchgesetzt hat, und das Verfahren der hochpräzisen Lokalisierung wird typischerweise als Super-Resolution bezeichnet.

Die technischen Errungenschaften der Leistungssteigerung von bildgebenden und -sensorischen Geräten, die heute als Superauflösung klassifiziert werden, werden voll ausgeschöpft, bleiben jedoch immer innerhalb der Grenzen der Physik und der Informationstheorie.

Techniken

Optische oder diffraktive Superauflösung

Ersetzen von Ortsfrequenzbändern: Obwohl die durch Beugung zulässige Bandbreite fest ist, kann sie überall im Ortsfrequenzspektrum positioniert werden. Ein Beispiel ist die Dunkelfeldbeleuchtung in der Mikroskopie. Siehe auch Blendensynthese .

Die Technik der "strukturierten Beleuchtung" der Super-Resolution ist mit Moiré-Mustern verwandt . Das Ziel, ein feines Streifenband (obere Reihe), liegt außerhalb der Beugungsgrenze. Wenn ein Band von etwas gröber auflösbaren Streifen (zweite Reihe) künstlich überlagert wird, weist die Kombination (dritte Reihe) Moiré- Komponenten auf, die innerhalb der Beugungsgrenze liegen und daher im Bild enthalten sind (untere Reihe), wodurch das Vorhandensein der feinen Streifen erkannt werden kann abgeleitet, obwohl sie selbst nicht im Bild dargestellt sind.

Multiplexen von Ortsfrequenzbändern

Ein Bild wird unter Verwendung des normalen Durchlassbandes der optischen Vorrichtung erzeugt. Dann wird dem Ziel eine bekannte Lichtstruktur überlagert, beispielsweise ein Satz von Lichtstreifen, der ebenfalls innerhalb des Durchlassbereichs liegt. Das Bild enthält nun Komponenten, die sich aus der Kombination des Ziels und der überlagerten Lichtstruktur ergeben, zB Moiré-Streifen , und enthält Informationen über Zieldetails, die eine einfache, unstrukturierte Beleuchtung nicht hat. Die „superaufgelösten“ Komponenten müssen jedoch entwirrt werden, um aufgedeckt zu werden. Ein Beispiel finden Sie unter Strukturierte Beleuchtung (Abbildung links).

Verwendung mehrerer Parameter innerhalb traditioneller Beugungsgrenzen

Wenn ein Ziel keine speziellen Polarisations- oder Wellenlängeneigenschaften aufweist, können zwei Polarisationszustände oder nicht überlappende Wellenlängenbereiche verwendet werden, um Zieldetails zu codieren, einer in einem Ortsfrequenzband innerhalb der Grenzgrenze und der andere darüber. Beide würden eine normale Durchlassbandübertragung verwenden, werden dann jedoch separat dekodiert, um die Zielstruktur mit erweiterter Auflösung wiederherzustellen.

Untersuchen elektromagnetischer Nahfeldstörungen

Die übliche Diskussion über Superauflösung beinhaltete die konventionelle Abbildung eines Objekts durch ein optisches System. Aber moderne Technologie ermöglicht es, elektromagnetische Störungen innerhalb molekularer Entfernungen von der Quelle zu untersuchen, was über hervorragende Auflösungseigenschaften verfügt, siehe auch evaneszente Wellen und die Entwicklung der neuen Super-Linse .

Geometrische oder bildverarbeitende Superauflösung

Im Vergleich zu einem einzelnen Bild, das während seiner Aufnahme oder Übertragung durch Rauschen beeinträchtigt ist (links), wird das Signal-Rausch-Verhältnis durch geeignete Kombination mehrerer getrennt aufgenommener Bilder (rechts) verbessert. Dies kann nur innerhalb des intrinsischen Auflösungsvermögens des Abbildungsverfahrens zum Aufdecken solcher Details erreicht werden.

Rauschunterdrückung bei Mehrfachbelichtung

Wenn ein Bild durch Rauschen beeinträchtigt ist, kann der Durchschnitt vieler Belichtungen sogar innerhalb der Beugungsgrenze mehr Details aufweisen. Siehe Beispiel rechts.

Einzelbild-Entschärfen

Hauptartikel: Entschärfen

Bekannte Fehler in einer gegebenen Abbildungssituation, wie beispielsweise Defokussierung oder Aberrationen , können manchmal ganz oder teilweise durch geeignete Ortsfrequenzfilterung sogar eines einzelnen Bildes abgeschwächt werden. Solche Verfahren bleiben alle innerhalb des beugungsabhängigen Durchlassbandes und erweitern es nicht.

Beide Funktionen erstrecken sich über 3 Pixel, jedoch in unterschiedlichen Mengen, sodass sie mit einer über Pixeldimensionen überragenden Präzision lokalisiert werden können.

Subpixel-Bildlokalisierung

Die Lage einer einzelnen Quelle kann durch Berechnung des "Schwerpunkts" ( Schwerpunkt ) der sich über mehrere benachbarte Pixel erstreckenden Lichtverteilung bestimmt werden (siehe Abbildung links). Vorausgesetzt, dass genügend Licht vorhanden ist, kann dies mit beliebiger Genauigkeit erreicht werden, sehr viel besser als die Pixelbreite der Erfassungsvorrichtung und die Auflösungsgrenze für die Entscheidung, ob die Quelle einfach oder doppelt ist. Diese Technik, die die Voraussetzung , dass alle erfordert das Licht von einer einzigen Quelle kommt , ist, auf der Grundlage dessen , was als bekannt geworden Super Resolution Mikroskopie , zB stochastischen optischen Rekonstruktionsmikroskopie (STORM), wobei Fluoreszenzsonden an Molekülen geben nanoskaligen Abstand Information. Es ist auch der Mechanismus, der der visuellen Hypersehschärfe zugrunde liegt .

Bayes'sche Induktion jenseits der traditionellen Beugungsgrenze

Hauptartikel: Bayes'sche Inferenz

Von einigen Objektmerkmalen, obwohl sie jenseits der Beugungsgrenze liegen, kann bekannt sein, dass sie anderen Objektmerkmalen zugeordnet sind, die innerhalb der Grenzen liegen und daher im Bild enthalten sind. Aus den vorliegenden Bilddaten können dann mit statistischen Methoden Rückschlüsse auf das Vorhandensein des Vollobjektes gezogen werden. Das klassische Beispiel ist Toraldo di Francias Vorschlag, zu beurteilen, ob ein Bild das eines Einzel- oder Doppelsterns ist, indem er bestimmt, ob seine Breite die Breite eines Einzelsterns überschreitet. Dies kann bei Trennungen weit unterhalb der klassischen Auflösungsgrenzen erreicht werden und erfordert die vorherige Beschränkung auf die Wahl "einfach oder doppelt?"

Der Ansatz kann darin bestehen, das Bild im Frequenzbereich zu extrapolieren , indem angenommen wird, dass das Objekt eine analytische Funktion ist und wir die Funktionswerte in einem bestimmten Intervall genau kennen können . Diese Methode wird durch das allgegenwärtige Rauschen in digitalen Bildgebungssystemen stark eingeschränkt, kann jedoch für Radar , Astronomie , Mikroskopie oder Magnetresonanztomographie funktionieren . In jüngerer Zeit wurde ein schneller Einzelbild-Superauflösungsalgorithmus basierend auf einer geschlossenen Lösung von Problemen vorgeschlagen und gezeigt, dass er die meisten der existierenden Bayesschen Superauflösungsverfahren signifikant beschleunigt.

Aliasing

Geometrische SR Rekonstruktionsalgorithmen sind möglich , wenn und nur dann , wenn der Eingang Bilder mit niedriger Auflösung wurden unter-abgetastet und enthalten daher Aliasing . Aufgrund dieses Aliasings wird der hochfrequente Inhalt des gewünschten Rekonstruktionsbildes in den niederfrequenten Inhalt jedes der beobachteten Bilder eingebettet. Bei einer ausreichenden Anzahl von Beobachtungsbildern und wenn der Satz von Beobachtungen in ihrer Phase variiert (dh wenn die Bilder der Szene um einen Subpixelbetrag verschoben sind), dann kann die Phaseninformation verwendet werden, um die verfälschten Hochfrequenz- Inhalt aus dem echten niederfrequenten Inhalt, und das Bild mit voller Auflösung kann genau rekonstruiert werden.

In der Praxis wird dieser frequenzbasierte Ansatz nicht für die Rekonstruktion verwendet, aber auch bei räumlichen Ansätzen (zB Shift-Add-Fusion) ist das Vorhandensein von Aliasing eine notwendige Bedingung für die SR-Rekonstruktion.

Technische Umsetzungen

Es gibt sowohl Single-Frame- als auch Multi-Frame-Varianten von SR. Mehrfachbild-SR verwendet die Subpixelverschiebungen zwischen mehreren Bildern mit niedriger Auflösung derselben Szene. Es erzeugt ein Bild mit verbesserter Auflösung, das Informationen aus allen Bildern mit niedriger Auflösung zusammenführt, und die erzeugten Bilder mit höherer Auflösung sind eine bessere Beschreibung der Szene. Einzelbild-SR-Methoden versuchen, das Bild zu vergrößern, ohne Unschärfe zu erzeugen. Diese Verfahren verwenden andere Teile der Bilder mit niedriger Auflösung oder andere nicht verwandte Bilder, um zu erraten, wie das Bild mit hoher Auflösung aussehen sollte. Algorithmen können auch nach ihrem Bereich unterteilt werden: Frequenz- oder Raumbereich . Ursprünglich funktionierten superauflösende Methoden nur bei Graustufenbildern gut, aber Forscher haben Methoden gefunden, sie an Farbbilder von Kameras anzupassen. Kürzlich wurde auch die Verwendung von Super-Resolution für 3D-Daten gezeigt.

Forschung

Es gibt vielversprechende Forschungen zur Verwendung von Deep Convolutional Networks , um Superauflösung zu erreichen. Es wurden insbesondere Arbeiten demonstriert, die die Transformation einer 20- fachen Mikroskopaufnahme von Pollenkörnern in eine 1500-fache Rasterelektronenmikroskopaufnahme unter Verwendung dieser Methode zeigen . Obwohl diese Technik den Informationsgehalt eines Bildes erhöhen kann, gibt es keine Garantie dafür, dass die hochskalierten Merkmale im Originalbild vorhanden sind, und tiefe Faltungshochskalierer sollten in analytischen Anwendungen mit mehrdeutigen Eingaben nicht verwendet werden.

Siehe auch

Verweise

Andere verwandte Arbeiten