Panoptik bölümlendirme, hem anlamsal hem de örnek bölümlendirmesini (instance segmentation) birleştiren bir bilgisayarlı görü işlevidir. Panoptik bölümlendirmenin amacı, her bir pikseli yalnızca önceden tanımlanmış bir dizi sınıfa (anlamsal bölümlendirme) ayırmakla kalmayıp aynı zamanda bu sınıfların her bir örneğini benzersiz nesneler olarak ayıran (örnek bölümlendirmesi) bir görüntünün bölümlendirme haritasını üretmektir.
Başka bir deyişle, panoptik bölümlendirme, her piksele bir sınıf etiketi ve bu sınıfın her örneğine benzersiz bir örnek etiketi atanmış olduğu bir görüntünün eksiksiz ve birleşik bir bölümlendirmesini sağlamayı amaçlamaktadır. Ortaya çıkan bölümlendirme haritası, görüntünün anlamsal olarak ve değişik nesneler kümesine ayrıştırıldığı bir ayrıştırma haritasına benzer.
Panoptik bölümlendirme, hem anlamsal bölümlendirmede hem de örnek bölümlendirmesinde yüksek düzeyde doğruluk sağlaması ve her iki görevin sonuçlarını tek bir haritaya sorunsuz bir biçimde entegre etmesi nedeniyle zorlu bir işlemdir. Panoptik bölümlendirme modelleri genellikle hem anlamsal hem de örnek bölümlendirmesi gerçekleştirmek için CNN'ler ve nesne algılama tekniklerinin bir birleşimini kullanırlar ve ardından sonuçları panoptik bir haritada birleştirirler.
Panoptik bölümlendirme, görüntünün tam ve birleşik bir biçimde anlaşılmasının kritik olduğu otonom sürüş, robotik ve arttırılmış gerçeklik gibi çok çeşitli uygulamalarda kullanılabildiği için bilgisayar görü alanında giderek daha önemli duruma gelmektedir.
Nesne Türleri:
Panoptik bölümlendirme iki tür nesneyi işleyebilir: "maddeler" ve "nesneler". "Maddeler" arkaplan ya da gökyüzü, yol ya da çim gibi büyük, şekilsiz bölgelere ait pikselleri tanımlar. "Nesneler" ise insanlar, arabalar ya da binalar gibi sınırları iyi belirlenmiş nesneleri tanımlar. Panoptik bölümlendirme her iki nesne türünü de doğru bir biçimde tanımlamalı ve görüntüdeki her "madde" ve "nesne" için benzersiz bir örnek etiketi atamalıdır.
Değerlendirme Ölçütleri:
Panoptik bölümlendirme modellerinin performansı genellikle iki metrik kullanılarak değerlendirilir: PQ (Panoptik Kalite) ve SQ (Bölümlendirme Kalitesi). PQ, hem "maddeler" hem de "nesneler" için tahmin edilir ve temel gerçek etiketlerini karşılaştırarak panoptik haritanın kalitesini ölçer. SQ, "maddeler" için tahmin edilen değerleri ve etiketleri karşılaştırarak anlamsal bölümlendirmenin kalitesini ölçer. Yüksek bir PQ ve SQ puanı, modelin, görüntüde bulunan hem "maddeleri" hem de "nesneleri" doğru bir biçimde sınıflandırdığını ve bölümlere ayırdığını gösterir.
Model Mimarileri:
Panoptik bölümlendirme için kullanılan Panoptic FPN (Feature Pyramid Network), Hybrid Task Cascade (HTC) ve Panoptic DeepLab dahil olmak üzere birkaç popüler model mimarisi vardır. Bu modeller tipik olarak bir panoptik harita oluşturmak için anlamsal bölümlendirme ve sınırlayıcı kutu regresyonu gibi nesne algılama tekniklerinin bir birleşimini kullanırlar.
Zorluklar:
Panoptik bölümlendirme, gerçek dünya görüntülerindeki nesnelerin değişken doğasından dolayı zorlu bir işlemdir. Örneğin, nesneler küçük ve algılanması zor olabilirler ya da birbirleri ile örtüşerek ayrılmalarını zorlaştırabilirler. Ek olarak, nesneler karmaşık biçimlerde olabilirler ve bu da onları doğru biçimde bölümlere ayırmayı zorlaştırır. Bu zorlukların üstesinden gelmek için, panoptik bölümlendime modelleri büyük ve çeşitli veri kümeleri üzerinde eğitilmeli ve çok çeşitli nesne boyutları, biçimleri ve yönelimlerini işleyebilmelidirler.