Die panoptische Segmentierung ist eine Computer-Vision-Funktion, die sowohl semantische als auch Instanzsegmentierung kombiniert. Ziel der panoptischen Segmentierung ist es, eine Segmentierungskarte eines Bildes zu erstellen, die nicht nur jedes Pixel in eine Reihe von vordefinierten Klassen (semantische Segmentierung), sondern auch jede Instanz dieser Klassen als einzigartiges Objekt (Instanzsegmentierung) trennt.
Die panoptische Segmentierung zielt darauf ab, jedem Pixel eine Klassenbeschriftung und jeder Instanz dieser Klasse eine eindeutige Instanzbeschriftung zuzuweisen, um eine vollständige und einheitliche Segmentierung eines Bildes zu erhalten. Aus der resultierenden Segmentierungskarte wird eine Parsing-Karte erstellt, die das Bild semantisch in verschiedene Objekte zerlegt.
Die panoptische Segmentierung ist ein anspruchsvoller Prozess, da sie sowohl bei der semantischen Segmentierung als auch bei der Instanzsegmentierung ein hohes Maß an Genauigkeit bietet und die Ergebnisse beider Aufgaben nahtlos in eine einzige Karte integriert. Panoptische Segmentierungsmodelle verwenden häufig eine Kombination aus CNNs und Objekterkennungstechniken, um sowohl eine semantische als auch eine Instanzsegmentierung durchzuführen und die Ergebnisse dann in einer panoptischen Karte zu kombinieren.
Die panoptische Segmentierung gewinnt auf dem Gebiet des Computer Vision zunehmend an Bedeutung, da sie in einer Vielzahl von Anwendungen eingesetzt werden kann, z. B. beim autonomen Fahren, in der Robotik und in der erweiterten Realität, wo ein vollständiges und einheitliches Verständnis des Bildes entscheidend ist.
Objekttypen
Die panoptische Segmentierung kann zwei Arten von Objekten verarbeiten: "Gegenstände" und "Objekte". "Gegenstände" beschreiben Pixel des Hintergrunds oder große, amorphe Regionen wie den Himmel, die Straße oder das Gras. "Objekte" beschreiben Objekte mit klar definierten Grenzen, z. B. Personen, Autos oder Gebäude. Die panoptische Segmentierung sollte beide Arten von Objekten korrekt erkennen und für jeden "Gegenstand" und jedes "Objekt" im Bild eine eindeutige Instanzbeschriftung zuweisen.
Kriterien für die Bewertung
Die Leistung von panoptischen Segmentierungsmodellen wird im Allgemeinen anhand von zwei Metriken bewertet: PQ (Panoptische Qualität) und SQ (Segmentierungsqualität). PQ wird sowohl für "Gegenstände" als auch für "Objekte" geschätzt und misst die Qualität der panoptischen Karte durch den Vergleich mit den Beschriftungen der Grundwahrheit. SQ misst die Qualität der semantischen Segmentierung durch den Vergleich der vorhergesagten Werte und Beschriftungen für "Gegenstände". Ein hoher PQ- und SQ-Wert zeigt an, dass das Modell sowohl "Gegenstände" als auch "Objekte" im Bild korrekt klassifiziert und segmentiert.
Modell-Architekturen
Es gibt mehrere beliebte Modellarchitekturen für die panoptische Segmentierung, darunter Panoptic FPN (Feature Pyramid Network), Hybrid Task Cascade (HTC) und Panoptic DeepLab. Diese Modelle verwenden in der Regel eine Kombination von Objekterkennungstechniken, wie semantische Segmentierung und Begrenzungsfeldregression, um eine panoptische Karte zu erstellen.
Herausforderungen
Die panoptische Segmentierung ist ein schwieriger Prozess, da die Objekte in realen Bildern sehr unterschiedlich sind. Beispielsweise können Objekte klein und schwer zu erkennen sein oder sie können sich überlappen, was ihre Trennung erschwert. Außerdem können Objekte komplexe Formen haben, die eine genaue Segmentierung erschweren. Panoptische Segmentierungsmodelle meistern diese Herausforderungen, indem sie auf großen und vielfältigen Datensätzen trainieren und eine breite Palette von Objektgrößen, -formen und -ausrichtungen verarbeiten.