3D-Rekonstruktion - 3D reconstruction

Informationen zur 3D-Rekonstruktion in der medizinischen Bildgebung finden Sie unter Iterative Rekonstruktion . Informationen zur 3D-Rekonstruktion von Schallquellen finden Sie unter 3D-Klangrekonstruktion .
3D-Rekonstruktion der allgemeinen Anatomie der rechten Seitenansicht einer kleinen Meeresschnecke Pseudunela viatoris .

In Computer - Vision und Computergrafik , 3D - Rekonstruktion ist der Prozess , die Form und das Aussehen der realen Objekte einzufangen. Dieser Prozess kann entweder durch aktive oder passive Verfahren durchgeführt werden. Wenn das Modell seine Form im Laufe der Zeit ändern darf, wird dies als nicht starre oder raum-zeitliche Rekonstruktion bezeichnet.

Motivation und Bewerbungen

Die Erforschung der 3D-Rekonstruktion war schon immer ein schwieriges Ziel. Mit der 3D-Rekonstruktion kann man das 3D-Profil eines beliebigen Objekts bestimmen sowie die 3D-Koordinate eines beliebigen Punkts auf dem Profil kennen. Die 3D-Rekonstruktion von Objekten ist ein allgemein wissenschaftliches Problem und Kerntechnologie verschiedenster Bereiche, wie Computer Aided Geometric Design ( CAGD ), Computergrafik , Computeranimation , Computer Vision , Medical Imaging , Computational Science , Virtual Reality , Digital Media , etc. So können zum Beispiel die Läsionsinformationen der Patienten in 3D am Computer dargestellt werden, was einen neuen und genauen Ansatz in der Diagnose bietet und damit einen lebenswichtigen klinischen Wert hat. Digitale Höhenmodelle können mit Methoden wie der luftgestützten Laseraltimetrie oder dem Radar mit synthetischer Apertur rekonstruiert werden .

Aktive Methoden

3D- Echolotkarte einer Unterwasserschlucht

Aktive Verfahren, dh Entfernungsdatenverfahren , rekonstruieren anhand der Tiefenkarte das 3D-Profil durch numerische Näherungsverfahren und bauen das Objekt in einem Szenario basierend auf einem Modell auf. Diese Verfahren interferieren aktiv mit dem rekonstruierten Objekt, entweder mechanisch oder radiometrisch unter Verwendung von Entfernungsmessern , um die Tiefenkarte zu erfassen, zB strukturiertes Licht , Laserentfernungsmesser und andere aktive Abtasttechniken. Ein einfaches Beispiel für eine mechanische Methode wäre die Verwendung eines Tiefenmessers, um die Entfernung zu einem rotierenden Objekt auf einem Drehteller zu messen. Anwendbarere radiometrische Methoden emittieren Strahlung in Richtung des Objekts und messen dann seinen reflektierten Teil. Beispiele reichen von bewegten Lichtquellen, farbigem sichtbarem Licht, Time-of-Flight- Lasern bis hin zu Mikrowellen oder 3D-Ultraschall . Weitere Informationen finden Sie unter 3D-Scannen .

Passive Methoden

Passive Methoden der 3D-Rekonstruktion stören das rekonstruierte Objekt nicht; Sie verwenden lediglich einen Sensor, um die von der Oberfläche des Objekts reflektierte oder emittierte Strahlung zu messen, um durch Bildverstehen auf seine 3D-Struktur zu schließen . Typischerweise ist der Sensor ein Bildsensor in einer Kamera, der für sichtbares Licht empfindlich ist, und die Eingabe in das Verfahren ist ein Satz digitaler Bilder (eins, zwei oder mehr) oder ein Video. In diesem Fall sprechen wir von bildbasierter Rekonstruktion und die Ausgabe ist ein 3D-Modell . Im Vergleich zu aktiven Methoden können passive Methoden auf ein breiteres Spektrum von Situationen angewendet werden.

Monokulare Cues-Methoden

Monokulare Cues- Methoden beziehen sich auf die Verwendung eines oder mehrerer Bilder von einem Standpunkt (Kamera) aus, um mit der 3D-Konstruktion fortzufahren. Es verwendet 2D-Eigenschaften (z. B. Silhouetten, Schattierung und Textur), um die 3D-Form zu messen, und wird deshalb auch Shape-From-X genannt, wobei X Silhouetten , Schattierung , Textur usw. sein kann. Die 3D-Rekonstruktion durch monokulare Hinweise ist einfach und schnell, und es wird nur ein geeignetes digitales Bild benötigt, daher ist nur eine Kamera ausreichend. Technisch vermeidet es die Stereo-Korrespondenz , die ziemlich komplex ist.

Generieren und Rekonstruieren von 3D-Formen aus Tiefenkarten oder Silhouetten mit Einzel- oder Mehrfachansicht

Shape-from-Shading Aufgrund der Analyse der Schatteninformationen im Bild unter Verwendung der Lambertschen Reflexion wird die Tiefe der Normaleninformationen der Objektoberfläche zur Rekonstruktion wiederhergestellt.

Photometrisches Stereo Dieser Ansatz ist anspruchsvoller als die Shading-Methode. Bilder, die bei unterschiedlichen Lichtverhältnissen aufgenommen wurden, werden verwendet, um die Tiefeninformationen zu lösen. Es ist erwähnenswert, dass für diesen Ansatz mehr als ein Bild erforderlich ist.

Form-aus-Textur Angenommen, ein solches Objekt mit einer glatten Oberfläche, die von replizierten Textureinheiten bedeckt ist, und seine Projektion von 3D auf 2D verursacht Verzerrungen und Perspektiven . In 2D-Bildern gemessene Verzerrungen und Perspektiven geben den Hinweis für die umgekehrte Auflösung der Tiefennormalinformation der Objektoberfläche.

Stereosicht

Hauptartikel: Computer-Stereo-Vision

Stereosehen erhält die dreidimensionalen geometrischen Informationen eines Objekts aus mehreren Bildern basierend auf der Erforschung des menschlichen Sehsystems . Die Ergebnisse werden in Form von Tiefenkarten dargestellt. Bilder eines Objekts, die von zwei Kameras gleichzeitig in unterschiedlichen Blickwinkeln oder von einer einzelnen Kamera zu unterschiedlichen Zeiten in unterschiedlichen Blickwinkeln aufgenommen wurden, werden verwendet, um seine geometrischen 3D-Informationen wiederherzustellen und sein 3D-Profil und seine Position zu rekonstruieren. Dies ist direkter als monokulare Methoden wie Shape-from-Shading.

Das binokulare Stereovisionsverfahren erfordert zwei identische Kameras mit paralleler optischer Achse , um dasselbe Objekt zu beobachten und zwei Bilder aus verschiedenen Blickwinkeln aufzunehmen. Hinsichtlich trigonometrischer Beziehungen können Tiefeninformationen aus der Disparität berechnet werden. Die binokulare Stereovisionsmethode ist gut entwickelt und trägt stabil zu einer günstigen 3D-Rekonstruktion bei, was zu einer besseren Leistung im Vergleich zu anderen 3D-Konstruktionen führt. Leider ist es rechenintensiv, außerdem funktioniert es ziemlich schlecht, wenn der Basislinienabstand groß ist.

Problemstellung und Grundlagen

Der Ansatz der Verwendung von binokularem Stereosehen zum Erfassen der geometrischen 3D-Informationen von Objekten basiert auf der visuellen Disparität . Das folgende Bild zeigt ein einfaches schematisches Diagramm des horizontal gerichteten binokularen Stereosehens, wobei b die Basislinie zwischen den projektiven Zentren zweier Kameras ist.

Geometrie eines stereoskopischen Systems

Der Ursprung des Koordinatensystems der Kamera liegt im optischen Zentrum des Kameraobjektivs, wie in der Abbildung gezeigt. Tatsächlich befindet sich die Bildebene der Kamera hinter der optischen Mitte des Kameraobjektivs. Zur Vereinfachung der Berechnung werden jedoch Bilder vor dem optischen Zentrum des Objektivs um f gezeichnet. Die u-Achse und die v-Achse des Koordinatensystems des Bildes liegen in der gleichen Richtung wie die x-Achse bzw. die y-Achse des Koordinatensystems der Kamera. Der Ursprung des Koordinatensystems des Bildes liegt im Schnittpunkt der Abbildungsebene und der optischen Achse. Angenommen solche Weltpunkt , deren entsprechende Bildpunkte sind und jeweils auf der linken und der rechten Bildebene. Angenommen, zwei Kameras befinden sich in derselben Ebene, dann sind die y-Koordinaten von und identisch, dh . Nach trigonometrischen Beziehungen gilt:

wobei die Koordinaten im Koordinatensystem der linken Kamera sind, ist die Brennweite der Kamera. Visuelle Disparität ist definiert als der Unterschied in der Bildpunktposition eines bestimmten Weltpunktes, der von zwei Kameras erfasst wird.

anhand dessen die Koordinaten von berechnet werden können.

Wenn also die Koordinaten der Bildpunkte bekannt sind, kann neben den Parametern von zwei Kameras auch die 3D-Koordinate des Punktes bestimmt werden.

Die 3D-Rekonstruktion besteht aus folgenden Abschnitten:

Bildaufnahme

Die digitale 2D-Bildaufnahme ist die Informationsquelle der 3D-Rekonstruktion. Die häufig verwendete 3D-Rekonstruktion basiert auf zwei oder mehr Bildern, obwohl sie in einigen Fällen möglicherweise nur ein Bild verwendet. Je nach Anlass und Zweck der jeweiligen Anwendung gibt es verschiedene Arten von Verfahren zur Bildaufnahme. Es müssen nicht nur die Anforderungen der Anwendung erfüllt werden, sondern auch die visuelle Disparität, die Beleuchtung, die Leistung der Kamera und die Eigenschaft des Szenarios sollten berücksichtigt werden.

Kamerakalibrierung

Hauptartikel: Geometrische Kamerakalibrierung

Die Kamerakalibrierung im Binocular Stereo Vision bezieht sich auf die Bestimmung der Abbildungsbeziehung zwischen den Bildpunkten und und der Raumkoordinate im 3D-Szenario. Die Kamerakalibrierung ist ein grundlegender und wesentlicher Bestandteil der 3D-Rekonstruktion über Binocular Stereo Vision.

Merkmalsextraktion

Hauptartikel: Merkmalsextraktion

Ziel der Merkmalsextraktion ist es, die Eigenschaften der Bilder zu gewinnen, durch die die Stereokorrespondenz abläuft. Dadurch hängen die Eigenschaften der Bilder eng mit der Wahl der Matching-Methoden zusammen. Es gibt keine solche universell anwendbare Theorie für die Merkmalsextraktion, was zu einer großen Vielfalt der Stereokorrespondenz in der Forschung des binokularen Stereosehens führt.

Stereo-Korrespondenz

Hauptartikel: Bildregistrierung

Stereokorrespondenz soll die Übereinstimmung zwischen primitiven Faktoren in Bildern herstellen, dh übereinstimmen und aus zwei Bildern. Bestimmte Störfaktoren im Szenario sollten beachtet werden, z. B. Beleuchtung, Rauschen, physikalische Oberflächeneigenschaften usw.

Wiederherstellung

Nach präziser Korrespondenz, kombiniert mit Kamerapositionsparametern, können 3D-Geometrieinformationen problemlos wiederhergestellt werden. Aufgrund der Tatsache, dass die Genauigkeit der 3D-Rekonstruktion von der Genauigkeit der Entsprechung, dem Fehler der Kamerapositionsparameter usw. abhängt, müssen die vorherigen Verfahren sorgfältig durchgeführt werden, um eine relativ genaue 3D-Rekonstruktion zu erreichen.

3D-Rekonstruktion medizinischer Bilder

Die klinische Routine der Diagnose, Patientennachsorge, computergestützte Chirurgie, Operationsplanung usw. wird durch genaue 3D-Modelle des gewünschten Teils der menschlichen Anatomie erleichtert. Die Hauptmotivation hinter der 3D-Rekonstruktion umfasst

  • Verbesserte Genauigkeit durch Multi-View-Aggregation.
  • Detaillierte Oberflächenschätzungen.
  • Kann verwendet werden, um einen Chirurgen bei der Durchführung eines medizinischen Eingriffs zu planen, zu simulieren, zu führen oder auf andere Weise zu unterstützen.
  • Die genaue Position und Ausrichtung der Anatomie des Patienten kann bestimmt werden.
  • Hilft in einer Reihe von klinischen Bereichen, wie z. B. Strahlentherapieplanung und Behandlungsüberprüfung, Wirbelsäulenchirurgie, Hüftersatz, Neurointerventionen und Aortenstenting.

Anwendungen:

Die 3D-Rekonstruktion hat Anwendungen in vielen Bereichen. Sie sind:

Problemstellung:

Die meisten verfügbaren Algorithmen für die 3D-Rekonstruktion sind extrem langsam und können nicht in Echtzeit verwendet werden. Obwohl die vorgestellten Algorithmen noch in den Kinderschuhen stecken, haben sie das Potenzial für schnelle Berechnungen.

Bestehende Ansätze:

Delaunay-Triangulation (25 Punkte)

Delaunay- und Alpha-Formen

  • Das Delaunay-Verfahren beinhaltet die Extraktion von Tetraederoberflächen aus der anfänglichen Punktwolke. Die Idee der "Form" für eine Menge von Punkten im Raum wird durch das Konzept der Alpha-Formen gegeben. Bei einer endlichen Punktmenge S und dem reellen Parameter Alpha ist die Alpha-Form von S ein Polytop (die Verallgemeinerung auf eine beliebige Dimension eines zweidimensionalen Polygons und eines dreidimensionalen Polyeders), das weder konvex noch notwendigerweise zusammenhängend ist. Für einen großen Wert ist die Alpha-Form identisch mit der konvexen Hülle von S. Der von Edelsbrunner und Mucke vorgeschlagene Algorithmus eliminiert alle Tetraeder, die von einer umgebenden Kugel kleiner als α begrenzt werden. Die Fläche erhält man dann mit den äußeren Dreiecken aus dem resultierenden Tetraeder.
  • Ein anderer Algorithmus namens Tight Cocone bezeichnet die anfänglichen Tetraeder als innen und außen. Die gefundenen Dreiecke nach innen und außen erzeugen die resultierende Fläche.

Beide Methoden wurden kürzlich für die Rekonstruktion von Punktwolken mit Rauschen erweitert. Bei dieser Methode bestimmt die Qualität der Punkte die Durchführbarkeit der Methode. Für eine präzise Triangulation, da wir den gesamten Punktwolkensatz verwenden, werden die Punkte auf der Oberfläche mit dem Fehler oberhalb des Schwellenwerts explizit in der rekonstruierten Geometrie dargestellt.

Marschwürfel

Nullsetzmethoden

Die Rekonstruktion der Fläche erfolgt unter Verwendung einer Distanzfunktion, die jedem Punkt im Raum eine vorzeichenbehaftete Distanz zur Fläche S zuordnet . Ein Konturalgorithmus wird verwendet, um einen Nullsatz zu extrahieren, der verwendet wird, um eine polygonale Darstellung des Objekts zu erhalten. Somit wird das Problem der Rekonstruktion einer Fläche aus einer desorganisierten Punktwolke auf die Definition der entsprechenden Funktion f mit einem Nullwert für die abgetasteten Punkte und einem von Null verschiedenen Wert für den Rest reduziert . Ein Algorithmus namens Marching Cubes etablierte die Verwendung solcher Methoden. Es gibt verschiedene Varianten für einen bestimmten Algorithmus, einige verwenden eine diskrete Funktion f , während andere eine polyharmonische radiale Basisfunktion verwenden, um die Anfangspunktmenge anzupassen. Funktionen wie Moving Least Squares, Grundfunktionen mit lokaler Unterstützung, basierend auf der Poisson-Gleichung, wurden ebenfalls verwendet. Der Verlust der Geometriegenauigkeit in Bereichen mit extremer Krümmung, dh Ecken, Kanten, ist eines der Hauptprobleme. Darüber hinaus beeinflusst die Vorbehandlung von Informationen durch Anwendung einer Art von Filtertechnik auch die Definition der Ecken, indem sie sie weicher macht. Es gibt mehrere Studien zu Nachbearbeitungstechniken, die bei der Rekonstruktion zur Erkennung und Verfeinerung von Ecken verwendet werden, aber diese Methoden erhöhen die Komplexität der Lösung.

Volumenkörpergeometrie mit Volumen-Rendering Mit freundlicher Genehmigung von Patrick Chris Fragile Ph.D., UC Santa Barbara

VR-Technik

Die vollständige Volumentransparenz des Objekts wird mit VR-Technik visualisiert. Bilder werden durchgeführt, indem Strahlen durch Volumendaten projiziert werden. Entlang jedes Strahls müssen Opazität und Farbe an jedem Voxel berechnet werden. Dann werden entlang jedes Strahls berechnete Informationen zu einem Pixel auf der Bildebene aggregiert. Diese Technik hilft uns, eine vollständige kompakte Struktur des Objekts umfassend zu sehen. Da die Technik einen enormen Rechenaufwand erfordert, ist dies für kontrastarme Daten geeignet, was starke Konfigurationscomputer erfordert. Zwei Hauptmethoden für die Strahlenprojektion können wie folgt betrachtet werden:

  • Objektordnungsmethode: Projizierende Strahlen gehen von hinten nach vorne durch das Volumen (vom Volumen zur Bildebene).
  • Image-Order- oder Ray-Casting-Methode: Die projizierten Strahlen durchlaufen das Volumen von vorne nach hinten (von der Bildebene zum Volumen). Es gibt einige andere Methoden zum Zusammensetzen von Bildern, je nach Verwendungszweck des Benutzers geeignete Methoden. Einige übliche Methoden in der medizinischen Bildgebung sind MIP (Maximum Intensity Projection), MinIP (Minimum Intensity Projection), AC ( Alpha-Compositing ) und NPVR (Non-photorealistic Volume Rendering ).
Verfolgen eines Strahls durch ein Voxelgitter. Die Voxel, die zusätzlich zu den unter Verwendung eines standardmäßigen 8-verbundenen Algorithmus ausgewählten durchlaufen werden, sind schraffiert dargestellt.

Voxel-Gitter

Bei dieser Filtertechnik wird der Eingaberaum unter Verwendung eines Gitters von 3D-Voxeln abgetastet, um die Anzahl der Punkte zu reduzieren. Für jedes Voxel wird ein Schwerpunkt als Repräsentant aller Punkte gewählt. Es gibt zwei Ansätze, die Auswahl des Voxel-Schwerpunkts oder die Auswahl des Schwerpunkts der innerhalb des Voxels liegenden Punkte. Das Ermitteln des internen Punktedurchschnitts hat einen höheren Rechenaufwand, bietet jedoch bessere Ergebnisse. Somit wird eine Teilmenge des Eingaberaums erhalten, die grob die darunterliegende Oberfläche repräsentiert. Das Voxel-Grid-Verfahren weist dieselben Probleme auf wie andere Filtertechniken: Unmöglichkeit, die endgültige Anzahl von Punkten zu definieren, die die Oberfläche darstellen, geometrischer Informationsverlust aufgrund der Reduzierung der Punkte innerhalb eines Voxels und Empfindlichkeit gegenüber verrauschten Eingaberäumen.

Siehe auch

Verweise

Externe Links

Externe Links