Transformers documentation
Mask2Former
Bu model 2021-12-02 tarihinde HF papers'ta yayımlanmış ve 2023-01-16 tarihinde Hugging Face Transformers'a katkıda bulunmuştur.
Mask2Former
Genel Bakış
Mask2Former modeli, Bowen Cheng, Ishan Misra, Alexander G. Schwing, Alexander Kirillov ve Rohit Girdhar tarafından Masked-attention Mask Transformer for Universal Image Segmentation makalesinde önerilmiştir. Mask2Former, panoptik, örnekleme ve anlamsal segmentasyon için birleşik bir çerçevedir ve MaskFormer'a kıyasla önemli performans ve verimlilik iyileştirmeleri sunar.
Makalenin özeti aşağıdaki gibidir:
Görüntü segmentasyonu, farklı anlamlara sahip pikselleri gruplar; örneğin kategori veya örnek üyeliği. Anlam seçiminin her biri bir görevi tanımlar. Görevlerin yalnızca anlamları farklı olsa da, mevcut araştırmalar her görev için özel mimariler tasarlamaya odaklanmaktadır. Herhangi bir görüntü segmentasyonu görevini (panoptik, örnek veya semantik) ele alabilen yeni bir mimari olan Masked-attention Mask Transformer (Mask2Former)'i sunuyoruz. Temel bileşenleri arasında, çapraz dikkati tahmin edilen maske bölgeleri içinde kısıtlayarak yerel özellikleri çıkaran masked attention (maskeli dikkat) yer alır. Araştırma çabasını en az üç kat azaltmanın yanı sıra, dört popüler veri setinde en iyi özel mimarileri belirgin bir farkla geride bırakır. Özellikle Mask2Former, panoptik segmentasyon (COCO üzerinde 57.8 PQ), örnek segmentasyonu (COCO üzerinde 50.1 AP) ve semantik segmentasyon (ADE20K üzerinde 57.7 mIoU) için yeni bir en iyi performansı (state-of-the-art) belirlemiştir.
Mask2Former architecture. Taken from the original paper. Bu model Shivalika Singh ve Alara Dirik tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.
Kullanım ipuçları
- Mask2Former, MaskFormer ile aynı ön işleme ve son işleme adımlarını kullanır. Model için görüntüleri ve isteğe bağlı hedefleri hazırlamak için Mask2FormerImageProcessor veya AutoImageProcessor kullanın.
- Görevin türüne bağlı olarak, nihai segmentasyonu almak için post_process_semantic_segmentation() veya post_process_instance_segmentation() veya post_process_panoptic_segmentation() çağrılabilir. Üç görevin tümü Mask2FormerForUniversalSegmentation çıktısı kullanılarak çözülebilir; panoptik segmentasyon, hedef nesne/nesnelerin (ör. gökyüzü) örneklerini birleştirmek için isteğe bağlı
label_ids_to_fuseargümanını kabul eder.
Kaynaklar
Mask2Former ile başlamanıza yardımcı olmak için resmi Hugging Face ve topluluk (🌎 ile belirtilen) kaynaklarının listesi.
- Özel verilerde Mask2Former için çıkarım + ince ayar hakkında demo defterleri burada bulunabilir.
Buraya bir kaynak eklemek isterseniz, bir Pull Request açmaktan çekinmeyin; inceleyeceğiz. Kaynağın, mevcut bir kaynağı tekrarlamak yerine ideal olarak yeni bir şeyi göstermesi beklenir.
Mask2FormerConfig
sınıf transformers.Mask2FormerConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonefeature_size: int = 256mask_feature_size: int = 256hidden_dim: int = 256encoder_feedforward_dim: int = 1024activation_function: str = 'relu'encoder_layers: int = 6decoder_layers: int = 10num_attention_heads: int = 8dropout: float | int = 0.0dim_feedforward: int = 2048pre_norm: bool = Falseenforce_input_projection: bool = Falsecommon_stride: int = 4ignore_value: int = 255num_queries: int = 100no_object_weight: float = 0.1class_weight: float = 2.0mask_weight: float = 5.0dice_weight: float = 5.0train_num_points: int = 12544oversample_ratio: float = 3.0importance_sample_ratio: float = 0.75init_std: float = 0.02init_xavier_std: float = 1.0use_auxiliary_loss: bool = Truefeature_strides: list[int] | tuple[int, ...] = (4, 8, 16, 32)output_auxiliary_logits: bool | None = None )
Parametreler
- backbone_config (
Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Backbone modelinin yapılandırması. - feature_size (
int, isteğe bağlı, varsayılan 256) — Sonuçlanan özellik haritalarının özellikleri (kanalları). - mask_feature_size (
int, isteğe bağlı, varsayılan 256) — Maskelerin özellik boyutu; bu değer, Feature Pyramid Network özelliklerinin boyutunu belirtmek için de kullanılacaktır. - hidden_dim (
int, isteğe bağlı, varsayılan256) — Gizli temsillerin boyutu. - encoder_feedforward_dim (
int, isteğe bağlı, varsayılan 1024) — Piksel çözücü olarak kullanılan deformable detr kodlayıcısının beslemeli ileri (feedforward) ağının boyutu. - activation_function (
str, isteğe bağlı, varsayılanrelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin,"gelu","relu","silu"vb. - encoder_layers (
int, isteğe bağlı, varsayılan6) — Transformer kodlayıcısındaki gizli katman sayısı. Ayarlanmazsanum_layersile aynı değeri kullanır. - decoder_layers (
int, isteğe bağlı, varsayılan10) — Transformer decoder'ındaki gizli katman sayısı. Ayarlanmazsanum_layersile aynı değeri kullanır. - num_attention_heads (
int, isteğe bağlı, varsayılan8) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı. - dropout (
Union[float, int], isteğe bağlı, varsayılan0.0) — Tüm dropout katmanları için oran. - dim_feedforward (
int, isteğe bağlı, varsayılan 2048) — Transformer decoder için feedforward ağdaki özellik boyutu. - pre_norm (
bool, isteğe bağlı, varsayılanFalse) — Transformer decoder için pre-LayerNorm kullanılacak mı? - enforce_input_projection (
bool, isteğe bağlı, varsayılanFalse) — Transformer decoder'da giriş kanalları ve gizli boyut aynı olsa bile, giriş projeksiyonu olarak 1x1 konvolüsyon eklenip eklenmeyeceğini belirtir. - common_stride (
int, isteğe bağlı, varsayılan 4) — Piksel çözücüde kullanılan FPN seviyelerinin sayısını belirlemek için kullanılan parametre. - ignore_value (
int, isteğe bağlı, varsayılan 255) — Eğitim sırasında yok sayılacak kategori kimliği. - num_queries (
int, isteğe bağlı, varsayılan 100) — Çözücü için sorgu sayısı. - no_object_weight (
float, isteğe bağlı, varsayılan0.1) — Nesne algılama kaybında nesne-olmayan sınıfın göreli sınıflandırma ağırlığı. - class_weight (
float, isteğe bağlı, varsayılan2.0) — Macar eşleştirme maliyetinde sınıflandırma hatasının göreli ağırlığı. - mask_weight (
float, isteğe bağlı, varsayılan5.0) — Panoptik segmentasyon kaybında odak kaybının göreli ağırlığı. - dice_weight (
float, isteğe bağlı, varsayılan5.0) — Panoptik segmentasyon kaybında dice kaybının göreli ağırlığı. - train_num_points (
strveyafunction, isteğe bağlı, varsayılan 12544) — Kayıp hesabı sırasında örneklemeye kullanılan nokta sayısı. - oversample_ratio (
float, isteğe bağlı, varsayılan 3.0) — Örnekleme noktası sayısını hesaplamak için kullanılan aşırı örnekleme parametresi - importance_sample_ratio (
float, isteğe bağlı, varsayılan 0.75) — Önem örneklemesi ile örneklenen noktaların oranı. - init_std (
float, isteğe bağlı, varsayılan0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması. - init_xavier_std (
float, isteğe bağlı, varsayılan1.0) — Çapraz dikkat ağırlıklarının Xavier başlatılmasında kullanılan ölçekleme faktörü. - use_auxiliary_loss (
bool, isteğe bağlı, varsayılanTrue) — Transformer decoder'ın ara tahminlerini kullanarak kayıp hesaplanıp hesaplanmayacağı. - feature_strides (
list[int], isteğe bağlı, varsayılan[4, 8, 16, 32]) — Backbone ağdan üretilen özelliklere karşılık gelen özellik adımları. - output_auxiliary_logits (
bool, isteğe bağlı) — Modelinauxiliary_logitsdeğerlerini üretip üretmeyeceğini belirtir.
Bu, bir Mask2FormerModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Mask2Former modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/mask2former-swin-small-coco-instance yapılandırmasına benzer bir yapılandırma elde edilir.
Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.
Örnekler:
>>> from transformers import Mask2FormerConfig, Mask2FormerModel
>>> # Initializing a Mask2Former facebook/mask2former-swin-small-coco-instance configuration
>>> configuration = Mask2FormerConfig()
>>> # Initializing a model (with random weights) from the facebook/mask2former-swin-small-coco-instance style configuration
>>> model = Mask2FormerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configMaskFormer'e özgü çıktılar
sınıf transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput
< source >( encoder_last_hidden_state: typing.Optional[torch.FloatTensor] = Nonepixel_decoder_last_hidden_state: typing.Optional[torch.FloatTensor] = Nonetransformer_decoder_last_hidden_state: typing.Optional[torch.FloatTensor] = Noneencoder_hidden_states: tuple[torch.FloatTensor] | None = Nonepixel_decoder_hidden_states: tuple[torch.FloatTensor] | None = Nonetransformer_decoder_hidden_states: tuple[torch.FloatTensor] | None = Nonetransformer_decoder_intermediate_states: tuple[torch.FloatTensor] | None = Nonemasks_queries_logits: tuple[torch.FloatTensor] | None = Noneattentions: tuple[torch.FloatTensor] | None = None )
Parametreler
- encoder_last_hidden_state (
torch.FloatTensor, şekli(batch_size, num_channels, height, width), opsiyonel) — Encoder modelinin (backbone) son aşamasının son gizli durumları (son özellik haritası).output_hidden_states=Trueparametresi iletildiğinde döndürülür. - pixel_decoder_last_hidden_state (
torch.FloatTensor, şekli(batch_size, num_channels, height, width), isteğe bağlı) — Piksel çözücü modelinin son aşamasının son gizli durumları (son özellik haritası). - transformer_decoder_last_hidden_state (
tuple(torch.FloatTensor)) — Transformer decoder'ın son çıktısı(batch_size, sequence_length, hidden_size). - encoder_hidden_states (
tuple(torch.FloatTensor), isteğe bağlı) —torch.FloatTensor(gömme çıktısı için bir adet + her aşamanın çıktısı için bir adet) içeren bir tuple, şekli(batch_size, num_channels, height, width). Her aşamanın çıktısında encoder modelinin gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır).output_hidden_states=Trueparametresi iletildiğinde döndürülür. - pixel_decoder_hidden_states (
tuple(torch.FloatTensor), , opsiyonel,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(gömme çıktısı için bir tane + her aşamanın çıktısı için bir tane) içeren bir tuple, şekli(batch_size, num_channels, height, width). Piksel çözücü modelinin her aşamanın çıktısındaki gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır).output_hidden_states=Truegeçirildiğinde döndürülür. - transformer_decoder_hidden_states (
tuple(torch.FloatTensor), opsiyonel) —torch.FloatTensortüründe bir tuple (gömme çıktısı için bir tane + her aşamanın çıktısı için birer tane), şekli(batch_size, sequence_length, hidden_size). Transformer decoder'ın her aşamanın çıktısındaki gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır).output_hidden_states=Trueparametresi iletildiğinde döndürülür. - transformer_decoder_intermediate_states (
tuple(torch.FloatTensor), şekli(num_queries, 1, hidden_size)) — Ara decoder aktivasyonları, yani her bir decoder katmanının çıktısı; bunların her biri bir layernorm işleminden geçirilmiştir. - masks_queries_logits (
tuple(torch.FloatTensor), şekli(batch_size, num_queries, height, width)) — Transformer decoder'ındaki her katmandan gelen maske tahminleri. - attentions (
tuple(tuple(torch.FloatTensor)), isteğe bağlı,output_attentions=Truegeçirildiğinde döndürülür) — Her katman için bir adettuple(torch.FloatTensor)içeren,(batch_size, num_heads, sequence_length, sequence_length)biçiminde bir tuple. Transformer decoder'ından gelen self attention ağırlıkları. - attentions (
tuple[torch.FloatTensor], isteğe bağlı, geri döndürülüroutput_attentions=Truegeçildiğinde veyaconfig.output_attentions=True) — şu türden bir demet:torch.FloatTensor(şeklinde, her katman için bir adet(batch_size, num_heads, sequence_length, sequence_length).Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.
Mask2FormerModel çıktılarının sınıfı. Bu sınıf, logitleri hesaplamak için gereken tüm gizli durumları döndürür.
sınıf transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput
< source >( loss: typing.Optional[torch.FloatTensor] = Noneclass_queries_logits: typing.Optional[torch.FloatTensor] = Nonemasks_queries_logits: typing.Optional[torch.FloatTensor] = Noneauxiliary_logits: list[dict[str, torch.FloatTensor]] | None = Noneencoder_last_hidden_state: typing.Optional[torch.FloatTensor] = Nonepixel_decoder_last_hidden_state: typing.Optional[torch.FloatTensor] = Nonetransformer_decoder_last_hidden_state: typing.Optional[torch.FloatTensor] = Noneencoder_hidden_states: tuple[torch.FloatTensor] | None = Nonepixel_decoder_hidden_states: tuple[torch.FloatTensor] | None = Nonetransformer_decoder_hidden_states: typing.Optional[torch.FloatTensor] = Noneattentions: tuple[torch.FloatTensor] | None = None )
Parametreler
- loss (
torch.Tensor, opsiyonel) — Etiketler mevcut olduğunda döndürülen hesaplanan kayıp. - class_queries_logits (
torch.FloatTensor, isteğe bağlı) — Her sorgu için önerilen sınıfları temsil eden,(batch_size, num_queries, num_labels + 1)biçiminde bir tensör.+ 1'in, null sınıfını dahil ettiğimiz için gerekli olduğunu unutmayın. - masks_queries_logits (
torch.FloatTensor, opsiyonel) — Her sorgu için önerilen maskeleri temsil eden,(batch_size, num_queries, height, width)biçiminde bir tensör. - auxiliary_logits (
list[Dict(str, torch.FloatTensor)], isteğe bağlı) — Transformer decoder'ın her katmanından gelen sınıf ve maske tahminlerinin listesi. - encoder_last_hidden_state (
torch.FloatTensor, şekli(batch_size, num_channels, height, width)) — Encoder modelinin (backbone) son aşamasının son gizli durumları (son özellik haritası). - pixel_decoder_last_hidden_state (
torch.FloatTensor, şekli(batch_size, num_channels, height, width)) — Piksel çözücü modelinin son aşamasının son gizli durumları (son özellik haritası). - transformer_decoder_last_hidden_state (
tuple(torch.FloatTensor)) — Transformer decoder'ın son çıktısı(batch_size, sequence_length, hidden_size). - encoder_hidden_states (
tuple(torch.FloatTensor), opsiyonel,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(gömme katmanının çıktısı için bir adet + her aşamanın çıktısı için bir adet) içeren bir tuple, şekli(batch_size, num_channels, height, width). Kodlayıcı modelinin her aşamanın çıktısındaki gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır). - pixel_decoder_hidden_states (
tuple(torch.FloatTensor), isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(gömme katmanının çıktısı için bir adet + her aşamanın çıktısı için bir adet) içeren bir tuple, şekli(batch_size, num_channels, height, width). Piksel çözücü modelinin her aşamanın çıktısındaki gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır). - transformer_decoder_hidden_states (
tuple(torch.FloatTensor), opsiyonel,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(gömme katmanının çıktısı için bir adet + her aşamanın çıktısı için bir adet) içeren bir tuple, şekli(batch_size, sequence_length, hidden_size). Transformer decoder'ın her aşamanın çıktısındaki gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır). - attentions (
tuple(tuple(torch.FloatTensor)), opsiyonel,output_attentions=Truegeçirildiğinde veyaconfig.output_attentions=Trueolduğunda döndürülür) — Her katman için bir adettuple(torch.FloatTensor)içeren,(batch_size, num_heads, sequence_length, sequence_length)biçiminde bir tuple. Transformer decoder'dan Self ve Cross Attention ağırlıkları.
Mask2FormerForUniversalSegmentationOutput çıktılarının sınıfı.
Bu çıktı, nihai segmentasyon haritalarını hesaplamak için doğrudan post_process_semantic_segmentation() veya post_process_instance_segmentation() veya post_process_panoptic_segmentation() işlevlerine aktarılabilir. Kullanımına ilişkin ayrıntılar için lütfen [`~Mask2FormerImageProcessor] sayfasına bakın.
Mask2FormerModel
sınıf transformers.Mask2FormerModel
< source >( config: Mask2FormerConfig )
Parametreler
- config (Mask2FormerConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
Üzerinde herhangi bir özel head olmadan ham hidden-state çıktısı üreten çıplak Mask2Former Model.
Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.
Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.
forward
< source >( pixel_values: Tensorpixel_mask: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → Mask2FormerModelOutput or tuple(torch.FloatTensor)
Parametreler
- pixel_values (
torch.Tensor, şekli(batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri Mask2FormerImageProcessor kullanılarak elde edilebilir. Ayrıntılar için Mask2FormerImageProcessor.call() bölümüne bakın (processor_class, görüntü işleme için Mask2FormerImageProcessor kullanır). - pixel_mask (
torch.Tensorşeklinde(batch_size, height, width), isteğe bağlı) — Doldurma piksel değerlerinde dikkat işleminin uygulanmaması için maske. Seçilen maske değerleri[0, 1]:- gerçek olan (yani maske uygulanmamış) pikseller için 1,
- Dolgu olan (yani maskelenmiş) pikseller için 0.
- output_hidden_states (
bool, isteğe bağlı) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındakihidden_statesbölümüne bakın. - output_attentions (
bool, isteğe bağlı) — Tüm dikkat katmanlarının dikkat tensörlerinin döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındakiattentionsbölümüne bakın. - return_dict (
bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi?
Dönüş değeri
Mask2FormerModelOutput veya tuple(torch.FloatTensor)
Bir Mask2FormerModelOutput veya
torch.FloatTensor bir demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (Mask2FormerConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.
Mask2FormerModel forward metodu, __call__ özel metodunu geçersiz kılar.
İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine
Moduleörneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.
encoder_last_hidden_state (
torch.FloatTensor, şekli(batch_size, num_channels, height, width), opsiyonel) — Encoder modelinin (backbone) son aşamasının son gizli durumları (son özellik haritası).output_hidden_states=Trueparametresi iletildiğinde döndürülür.pixel_decoder_last_hidden_state (
torch.FloatTensor, şekli(batch_size, num_channels, height, width), isteğe bağlı) — Pixel decoder modelinin son aşamasının son gizli durumları (son özellik haritası).transformer_decoder_last_hidden_state (
tuple(torch.FloatTensor)) — Transformer decoder'ın son çıktısı(batch_size, sequence_length, hidden_size).encoder_hidden_states (
tuple(torch.FloatTensor), opsiyonel) —torch.FloatTensor(gömme çıktısı için bir adet + her aşamanın çıktısı için bir adet) içeren bir tuple, şekli(batch_size, num_channels, height, width). Her aşamanın çıktısında encoder modelinin gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır).output_hidden_states=Trueparametresi iletildiğinde döndürülür.pixel_decoder_hidden_states (
tuple(torch.FloatTensor), , isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensortüründe bir demet (gömme katmanının çıktısı için bir tane + her aşamanın çıktısı için birer tane), şekli(batch_size, num_channels, height, width). Piksel çözücü modelinin her aşamanın çıktısındaki gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır).output_hidden_states=Truegeçirildiğinde döndürülür.transformer_decoder_hidden_states (
tuple(torch.FloatTensor), isteğe bağlı) —torch.FloatTensor(gömme çıktısı için bir adet + her aşamanın çıktısı için bir adet) içeren bir tuple, şekli(batch_size, sequence_length, hidden_size). Her aşamanın çıktısında transformer decoder'ın gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır).output_hidden_states=Truegeçirildiğinde döndürülür.transformer_decoder_intermediate_states (
tuple(torch.FloatTensor), şekli(num_queries, 1, hidden_size)) — Ara decoder aktivasyonları, yani her bir decoder katmanının çıktısı; bunların her biri bir layernorm'dan geçirilmiştir.masks_queries_logits (
tuple(torch.FloatTensor), şekli(batch_size, num_queries, height, width)) Transformer decoder'ın her katmanından gelen maske tahminleri. attentions (tuple(tuple(torch.FloatTensor)), isteğe bağlı,output_attentions=Truegeçirildiğinde döndürülür) — Şekli(batch_size, num_heads, sequence_length, sequence_length)olantuple(torch.FloatTensor)(her katman için bir tane) tuple'ı. Transformer decoder'ın kendine dikkat (self-attention) ağırlıkları.attentions (
tuple[torch.FloatTensor], isteğe bağlı,output_attentions=Truegeçirildiğinde veyaconfig.output_attentions=Trueolduğunda döndürülür) —torch.FloatTensor(katman başına bir tane) içeren bir tuple, şekli(batch_size, num_heads, sequence_length, sequence_length).Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.
Mask2FormerForUniversalSegmentation
sınıf transformers.Mask2FormerForUniversalSegmentation
< source >( config: Mask2FormerConfig )
Parametreler
- config (Mask2FormerConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
Örnek/semantik/panoptik segmentasyon için üstünde başlıklara sahip Mask2Former Modeli.
Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.
Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.
forward
< source >( pixel_values: Tensormask_labels: list[torch.Tensor] | None = Noneclass_labels: list[torch.Tensor] | None = Nonepixel_mask: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_auxiliary_logits: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → Mask2FormerForUniversalSegmentationOutput or tuple(torch.FloatTensor)
Parametreler
- pixel_values (
torch.Tensor, şekli(batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri Mask2FormerImageProcessor kullanılarak elde edilebilir. Ayrıntılar için Mask2FormerImageProcessor.call() bölümüne bakın (processor_class, görüntü işleme için Mask2FormerImageProcessor kullanır). - mask_labels (
list[torch.Tensor], isteğe bağlı) — Bir modele verilecek,(num_labels, height, width)biçiminde mask etiketleri listesi - class_labels (
list[torch.LongTensor], isteğe bağlı) — bir modele verilecek,(num_labels, height, width)biçiminde hedef sınıf etiketlerinin listesi. Bunlar,mask_labelsetiketlerini tanımlar; örneğinclass_labels[i][j]isemask_labels[i][j]etiketi. - pixel_mask (
torch.Tensorşeklinde(batch_size, height, width), isteğe bağlı) — Doldurma piksel değerlerinde dikkat işleminin uygulanmaması için maske. Seçilen maske değerleri[0, 1]:- gerçek olan (yani maske uygulanmamış) pikseller için 1,
- Dolgu olan (yani maskelenmiş) pikseller için 0.
- output_hidden_states (
bool, isteğe bağlı) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındakihidden_statesbölümüne bakın. - output_auxiliary_logits (
bool, isteğe bağlı) — Yardımcı logitlerin (auxiliary logits) çıktı olarak üretilip üretilmeyeceğini belirtir. - output_attentions (
bool, isteğe bağlı) — Tüm dikkat katmanlarının dikkat tensörlerinin döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındakiattentionsbölümüne bakın. - return_dict (
bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi?
Dönüş değeri
Mask2FormerForUniversalSegmentationOutput veya tuple(torch.FloatTensor)
Bir Mask2FormerForUniversalSegmentationOutput veya bir torch.FloatTensor demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (Mask2FormerConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.
Mask2FormerForUniversalSegmentation forward metodu, __call__ özel metodunu geçersiz kılar.
İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine
Moduleörneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.
- loss (
torch.Tensor, opsiyonel) — Etiketler mevcut olduğunda döndürülen hesaplanan kayıp. - class_queries_logits (
torch.FloatTensor, opsiyonel) — Her sorgu için önerilen sınıfları temsil eden,(batch_size, num_queries, num_labels + 1)biçiminde bir tensör. Null sınıfı dahil edildiğinden+ 1gereklidir. - masks_queries_logits (
torch.FloatTensor, isteğe bağlı) — Her sorgu için önerilen maskeleri temsil eden,(batch_size, num_queries, height, width)biçiminde bir tensör. - auxiliary_logits (
list[Dict(str, torch.FloatTensor)], isteğe bağlı) — Transformer decoder'ın her katmanından gelen sınıf ve maske tahminlerinin listesi. - encoder_last_hidden_state (
torch.FloatTensor, şekli(batch_size, num_channels, height, width)) — Encoder modelinin (backbone) son aşamasının son gizli durumları (son özellik haritası). - pixel_decoder_last_hidden_state (
torch.FloatTensor, şekli(batch_size, num_channels, height, width)) — Piksel çözücü modelinin son aşamasının son gizli durumları (son özellik haritası). - transformer_decoder_last_hidden_state (
tuple(torch.FloatTensor)) — Transformer decoder'ın son çıktısı(batch_size, sequence_length, hidden_size). - encoder_hidden_states (
tuple(torch.FloatTensor), opsiyonel,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(gömme çıktısı için bir adet + her aşamanın çıktısı için bir adet) içeren bir demet, şekli(batch_size, num_channels, height, width). Kodlayıcı modelinin her aşamanın çıktısındaki gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır). - pixel_decoder_hidden_states (
tuple(torch.FloatTensor), isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(gömme çıktısı için bir adet + her aşamanın çıktısı için bir adet) içeren bir demet, şekli(batch_size, num_channels, height, width). Piksel çözücü modelinin her aşamanın çıktısındaki gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır). - transformer_decoder_hidden_states (
tuple(torch.FloatTensor), isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(gömme çıktısı için bir adet + her aşamanın çıktısı için bir adet) içeren bir tuple, şekli(batch_size, sequence_length, hidden_size). Transformer decoder'ın her aşamanın çıktısındaki gizli durumları (aynı zamanda özellik haritaları olarak da adlandırılır). - attentions (
tuple(tuple(torch.FloatTensor)), opsiyonel,output_attentions=Truegeçirildiğinde veyaconfig.output_attentions=Trueolduğunda döndürülür) —tuple(torch.FloatTensor)(her katman için bir tane) içeren bir tuple, şekli(batch_size, num_heads, sequence_length, sequence_length). Transformer decoder'dan Self ve Cross Attention ağırlıkları.
Örnekler:
Örnek bir örnekleme segmentasyonu:
>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch
>>> # Load Mask2Former trained on COCO instance segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-coco-instance")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained(
... "facebook/mask2former-swin-small-coco-instance"
... )
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
... image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits
>>> # Perform post-processing to get instance segmentation map
>>> pred_instance_map = image_processor.post_process_instance_segmentation(
... outputs, target_sizes=[(image.height, image.width)]
... )[0]
>>> print(pred_instance_map.shape)
torch.Size([480, 640])Anlamsal segmentasyon örneği:
>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch
>>> # Load Mask2Former trained on ADE20k semantic segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-ade-semantic")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained("facebook/mask2former-swin-small-ade-semantic")
>>> url = (
... "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
... )
>>> with httpx.stream("GET", url) as response:
... image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits
>>> # Perform post-processing to get semantic segmentation map
>>> pred_semantic_map = image_processor.post_process_semantic_segmentation(
... outputs, target_sizes=[(image.height, image.width)]
... )[0]
>>> print(pred_semantic_map.shape)
torch.Size([512, 683])Panoptik segmentasyon örneği:
>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch
>>> # Load Mask2Former trained on CityScapes panoptic segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-cityscapes-panoptic")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained(
... "facebook/mask2former-swin-small-cityscapes-panoptic"
... )
>>> url = "https://huggingface.co/proxy/cdn-media.huggingface.co/Inference-API/Sample-results-on-the-Cityscapes-dataset-The-above-images-show-how-our-method-can-handle.png"
>>> with httpx.stream("GET", url) as response:
... image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits
>>> # Perform post-processing to get panoptic segmentation map
>>> pred_panoptic_map = image_processor.post_process_panoptic_segmentation(
... outputs, target_sizes=[(image.height, image.width)]
... )[0]["segmentation"]
>>> print(pred_panoptic_map.shape)
torch.Size([338, 676])Mask2FormerImageProcessor
sınıf transformers.Mask2FormerImageProcessor
< source >( **kwargs: *<class 'transformers.models.mask2former.image_processing_mask2former.Mask2FormerImageProcessorKwargs'> )
Parametreler
- do_convert_rgb (
bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi. - do_resize (
bool, kwargs, isteğe bağlı, varsayılanTrue) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan{'shortest_edge' -- 800, 'longest_edge': 1333}): Modelin kabul ettiği maksimum giriş boyutlarını açıklar. - default_to_square (
bool, kwargs, isteğe bağlı, varsayılanFalse) — size bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağı. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) —center_cropuygulandıktan sonra çıktı görüntüsünün boyutu. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, varsayılan2) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu,PILImageResamplingenum değerlerinden biri olabilir. Yalnızcado_resizeTrueolarak ayarlanırsa etkilidir. - do_rescale (
bool, kwargs, isteğe bağlı, varsayılanTrue) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği. - rescale_factor (
float, kwargs, opsiyonel, varsayılan0.00392156862745098) —do_rescaleTrueolarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü. - do_normalize (
bool, kwargs, opsiyonel, varsayılanTrue) — Görselin normalize edilip edilmeyeceği. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan[0.485, 0.456, 0.406]) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızcado_normalizeTrueolarak ayarlanırsa etkilidir. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan[0.229, 0.224, 0.225]) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızcado_normalizeTrueolarak ayarlanırsa etkilidir. - do_pad (
bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır. - pad_size (
SizeDict, kwargs, isteğe bağlı) — Görsellerin boyutlandırılacağı (padding) hedef boyut. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır.pad_sizesağlanmazsa, görseller batch içindeki en büyük yükseklik ve genişliğe göre boyutlandırılır (padding). - do_center_crop (
bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — YalnızcaChannelDimension.FIRSTdesteklenir. Yavaş işleyicilerle uyumluluk için eklendi. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:"channels_first"veyaChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü."channels_last"veyaChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü."none"veyaChannelDimension.NONE: (height, width) biçiminde görüntü.
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) —'pt'olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür. - disable_grouping (
bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır. - ignore_index (
int, kwargs, opsiyonel) — Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verildiğinde, segmentasyon haritasındaki 0 (arka plan) ile belirtilen piksellerignore_indexile değiştirilir. - do_reduce_labels (
bool, kwargs, opsiyonel, varsayılanFalse) — Segmentasyon haritalarındaki tüm etiket değerlerini 1 azaltıp azaltmayacağı. Genellikle 0'ın arka plan için kullanıldığı ve arka planın veri setindeki tüm sınıflara dahil olmadığı veri setlerinde (ör. ADE20k) kullanılır. Arka plan etiketiignore_indexile değiştirilecektir. - num_labels (
int, kwargs, opsiyonel) — Segmentasyon haritasındaki etiket sayısı. - size_divisor (
int, kwargs, opsiyonel, varsayılan32) — Bazı omurga yapıları (backbone), belirli bir sayıya bölünebilen görüntüler gerektirir. Değer belirtilmezse, Swin Transformer'da kullanılan değer varsayılan olarak kullanılır.
Mask2FormerImageProcessor görüntü işleyicisi oluşturur.
ön işleme
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneinstance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None**kwargs: *<class 'transformers.models.mask2former.image_processing_mask2former.Mask2FormerImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature
Parametreler
- images (
Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ön işleme uygulanacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsado_rescale=Falseolarak ayarlayın. - segmentation_maps (
ImageInput, isteğe bağlı) — Segmentasyon haritaları. - instance_id_to_semantic_id (
Union[list[dict[int, int]], dict[int, int]], isteğe bağlı) — Örnek kimliklerinden anlamsal kimliklere bir eşleme. - do_convert_rgb (
bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi. - do_resize (
bool, kwargs, opsiyonel) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Modelin kabul ettiği maksimum giriş boyutlarını açıklar. - default_to_square (
bool, kwargs, opsiyonel) — Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntüye geçilip geçilmeyeceği. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) —center_cropuygulandıktan sonra çıktı görüntüsünün boyutu. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu,PILImageResamplingenum değerlerinden biri olabilir. Yalnızcado_resizeTrueolarak ayarlanırsa etkilidir. - do_rescale (
bool, kwargs, opsiyonel) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği. - rescale_factor (
float, kwargs, opsiyonel) —do_rescaleTrueolarak ayarlanırsa görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü. - do_normalize (
bool, kwargs, opsiyonel) — Görselin normalize edilip edilmeyeceği. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızcado_normalizeTrueolarak ayarlanırsa etkilidir. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızcado_normalizeTrueolarak ayarlanmışsa etkilidir. - do_pad (
bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır. - pad_size (
SizeDict, kwargs, isteğe bağlı) — Görsellerin boyutlandırılacağı (padding) hedef boyut. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır.pad_sizesağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe göre boyutlandırılır (padding). - do_center_crop (
bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — YalnızcaChannelDimension.FIRSTdesteklenir. Yavaş işleyicilerle uyumluluk için eklendi. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:"channels_first"veyaChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü."channels_last"veyaChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü."none"veyaChannelDimension.NONE: (height, width) biçiminde görüntü.
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) —'pt'olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür. - disable_grouping (
bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır. - ignore_index (
int, kwargs, opsiyonel) — Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verildiğinde, segmentasyon haritasındaki 0 (arka plan) ile belirtilen piksellerignore_indexile değiştirilir. - do_reduce_labels (
bool, kwargs, opsiyonel, varsayılanFalse) — Segmentasyon haritalarındaki tüm etiket değerlerini 1 azaltıp azaltmayacağı. Genellikle 0'ın arka plan için kullanıldığı ve arka planın veri setindeki tüm sınıflara dahil olmadığı veri setlerinde (ör. ADE20k) kullanılır. Arka plan etiketiignore_indexile değiştirilecektir. - num_labels (
int, kwargs, opsiyonel) — Segmentasyon haritasındaki etiket sayısı. - size_divisor (
int, kwargs, opsiyonel, varsayılan32) — Bazı omurga yapıları (backbone), belirli bir sayıya bölünebilen görüntüler gerektirir. Değer belirtilmezse, Swin Transformer'da kullanılan değer varsayılan olarak kullanılır.
Dönüş değeri
~image_processing_base.BatchFeature
- data (
dict) — call yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü (‘pixel_values’ vb.). - tensor_type (
Union[None, str, TensorType], isteğe bağlı) — Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz.
post_process_semantic_segmentation
< source >( outputstarget_sizes: list[tuple[int, int]] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]
Parametreler
- outputs (Mask2FormerForUniversalSegmentation) — Modelin ham çıktıları.
- target_sizes (
list[tuple[int, int]], isteğe bağlı) — Uzunluğu (batch_size) olan bir liste; listenin her öğesi (tuple[int, int]]), ilgili tahminin istenen nihai boyutunu (yükseklik, genişlik) temsil eder. None olarak bırakılırsa, tahminler yeniden boyutlandırılmaz. - return_segmentation_scores (
bool, isteğe bağlı, varsayılanFalse) — Segmentasyon haritasının yanı sıra segmentasyon puanlarının da döndürülüp döndürülmeyeceğini belirtir.Trueolduğunda, döndürülen listenin her öğesisegmentation(sınıf kimlikleri, şekil(height, width)) vesegmentation_scores(şekil(num_classes, height, width)) alanlarına sahip birSemanticSegmentationPostProcessorOutputnesnesidir.
Dönüş değeri
list[torch.Tensor] veya list[SemanticSegmentationPostProcessorOutput]
return_segmentation_scores=False (varsayılan) olduğunda, her öğesi sınıf kimliklerine sahip (height, width) biçiminde bir segmentasyon haritası olan, uzunluğu batch_size olan bir liste döndürülür. return_segmentation_scores=True olduğunda ise segmentation (sınıf kimlikleri, biçim (height, width)) ve segmentation_scores (biçim (num_classes, height, width)) alanlarına sahip SemanticSegmentationPostProcessorOutput nesnelerinden oluşan bir liste döndürülür. Her iki durumda da (height, width), hedef boyuta karşılık gelir (target_sizes belirtilmişse).
Mask2FormerForUniversalSegmentation çıktısını anlamsal segmentasyon haritalarına dönüştürür. Yalnızca PyTorch desteklenir.
post_process_instance_segmentation
< source >( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8target_sizes: list[tuple[int, int]] | None = Nonereturn_coco_annotation: bool | None = Falsereturn_binary_maps: bool | None = False ) → List[Dict]
Parametreler
- outputs (Mask2FormerForUniversalSegmentation) — Modelin ham çıktıları.
- threshold (
float, isteğe bağlı, varsayılan 0.5) — Tahmin edilen örnek maskelerini tutmak için olasılık puanı eşiği. - mask_threshold (
float, isteğe bağlı, varsayılan 0.5) — Tahmin edilen maskelerin ikili değerlere dönüştürülürken kullanılacak eşik. - overlap_mask_area_threshold (
float, isteğe bağlı, varsayılan 0.8) — Her ikili örnek maskesi içindeki küçük kopuk parçaları birleştirmek veya atmak için kullanılan örtüşme maskesi alan eşiği. - target_sizes (
List[Tuple], isteğe bağlı) — Uzunluğu (batch_size) olan bir liste; her liste öğesi (Tuple[int, int]]) ilgili tahminin istenen nihai boyutunu (yükseklik, genişlik) temsil eder. None olarak bırakılırsa, tahminler yeniden boyutlandırılmaz. - return_coco_annotation (
bool, isteğe bağlı, varsayılanFalse) —Trueolarak ayarlanırsa, segmentasyon haritaları COCO run-length encoding (RLE) biçiminde döndürülür. - return_binary_maps (
bool, isteğe bağlı, varsayılanFalse) —Trueolarak ayarlanırsa, segmentasyon haritaları, ikili segmentasyon haritalarının birleştirilmiş bir tensörü olarak döndürülür (her algılanan örnek için bir tane).
Dönüş değeri
List[Dict]
Her biri bir görüntüye ait olan ve her biri iki anahtar içeren sözlüklerden oluşan bir liste:
- segmentation — Her pikselin bir
segment_idtemsil ettiği,(height, width)biçiminde bir tensör veya return_coco_annotationTrueolarak ayarlanmışsa segmentasyon haritasınınList[List]run-length encoding (RLE) ifadesi veya return_binary_mapsTrueolarak ayarlanmışsa(num_instances, height, width)biçiminde bir tensör.thresholdüzerinde bir maske bulunamazsaNoneolarak ayarlanır. - segments_info — Her segment hakkında ek bilgiler içeren bir sözlük.
- id —
segment_id'yi temsil eden bir tamsayır. - label_id —
segment_idile eşleşen etiket / semantik sınıf kimliğini temsil eden bir tamsayır. - score —
segment_idile segmentin tahmin skoru.
- id —
Mask2FormerForUniversalSegmentationOutput çıktısını nesne segmentasyonu tahminlerine dönüştürür.
Yalnızca PyTorch desteklenir. Nesneler üst üste gelebiliyorsa, doğru segmentasyon sonucunu almak için return_coco_annotation veya return_binary_maps parametrelerinden birini True olarak ayarlayın.
post_process_panoptic_segmentation
< source >( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8label_ids_to_fuse: set[int] | None = Nonetarget_sizes: list[tuple[int, int]] | None = None ) → List[Dict]
Parametreler
- outputs (
Mask2FormerForUniversalSegmentationOutput) — Mask2FormerForUniversalSegmentation'den gelen çıktılar. - threshold (
float, isteğe bağlı, varsayılan 0.5) — Tahmin edilen örnek maskelerini tutmak için olasılık puanı eşiği. - mask_threshold (
float, isteğe bağlı, varsayılan 0.5) — Tahmin edilen maskelerin ikili değerlere dönüştürülürken kullanılacak eşik. - overlap_mask_area_threshold (
float, isteğe bağlı, varsayılan 0.8) — Her ikili örnek maskesi içindeki küçük kopuk parçaları birleştirmek veya atmak için kullanılan örtüşme maskesi alan eşiği. - label_ids_to_fuse (
Set[int], isteğe bağlı) — Bu durumdaki etiketlerin tüm örnekleri birleştirilecektir. Örneğin bir görüntüde yalnızca bir gökyüzü, ancak birden fazla kişi olabileceğini söyleyebiliriz; bu nedenle gökyüzü için etiket kimliği bu kümede yer alırken, kişi için olan yer almaz. - target_sizes (
List[Tuple], isteğe bağlı) — Uzunluğu (batch_size) olan bir liste; listenin her öğesi (Tuple[int, int]]), batch içindeki her tahminin istenen nihai boyutunu (yükseklik, genişlik) temsil eder. None olarak bırakılırsa, tahminler yeniden boyutlandırılmaz.
Dönüş değeri
List[Dict]
Her biri bir görüntüye ait olan ve her biri iki anahtar içeren sözlüklerden oluşan bir liste:
- segmentation — her pikselin bir
segment_idtemsil ettiği,(height, width)biçiminde bir tensör;thresholdüzerinde bir maske bulunamazsaNoneolarak ayarlanır.target_sizesbelirtilirse, segmentation, ilgilitarget_sizesgirdisine göre yeniden boyutlandırılır. - segments_info — Her segment hakkında ek bilgiler içeren bir sözlük.
- id —
segment_id'yi temsil eden bir tamsayır. - label_id —
segment_idile eşleşen etiket / semantik sınıf kimliğini temsil eden bir tamsayır. - was_fused — bir boole değeri,
label_idlabel_ids_to_fuseiçindeyseTrue, aksi haldeFalse. Aynı sınıfın / etiketin birden fazla örneği birleştirildi ve tek birsegment_idatandı. - score —
segment_idile segmentin tahmin skoru.
- id —
Mask2FormerForUniversalSegmentationOutput çıktısını görüntü panotik segmentasyon tahminlerine dönüştürür. Yalnızca PyTorch desteklenir.
Mask2FormerImageProcessorPil
sınıf transformers.Mask2FormerImageProcessorPil
< source >( **kwargs: *<class 'transformers.models.mask2former.image_processing_pil_mask2former.Mask2FormerImageProcessorKwargs'> )
ön işleme
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneinstance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None**kwargs: *<class 'transformers.models.mask2former.image_processing_pil_mask2former.Mask2FormerImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature
Parametreler
- images (
Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ön işleme uygulanacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsado_rescale=Falseolarak ayarlayın. - segmentation_maps (
ImageInput, isteğe bağlı) — Segmentasyon haritaları. - instance_id_to_semantic_id (
Union[list[dict[int, int]], dict[int, int]], isteğe bağlı) — Örnek kimliklerinden anlamsal kimliklere bir eşleme. - do_convert_rgb (
bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi. - do_resize (
bool, kwargs, opsiyonel) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Modelin kabul ettiği maksimum giriş boyutlarını açıklar. - default_to_square (
bool, kwargs, opsiyonel) — Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntüye geçilip geçilmeyeceği. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) —center_cropuygulandıktan sonra çıktı görüntüsünün boyutu. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu,PILImageResamplingenum değerlerinden biri olabilir. Yalnızcado_resizeTrueolarak ayarlanırsa etkilidir. - do_rescale (
bool, kwargs, opsiyonel) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği. - rescale_factor (
float, kwargs, opsiyonel) —do_rescaleTrueolarak ayarlanırsa görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü. - do_normalize (
bool, kwargs, opsiyonel) — Görselin normalize edilip edilmeyeceği. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızcado_normalizeTrueolarak ayarlanırsa etkilidir. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızcado_normalizeTrueolarak ayarlanmışsa etkilidir. - do_pad (
bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır. - pad_size (
SizeDict, kwargs, isteğe bağlı) — Görsellerin boyutlandırılacağı (padding) hedef boyut. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır.pad_sizesağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe göre boyutlandırılır (padding). - do_center_crop (
bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — YalnızcaChannelDimension.FIRSTdesteklenir. Yavaş işleyicilerle uyumluluk için eklendi. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:"channels_first"veyaChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü."channels_last"veyaChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü."none"veyaChannelDimension.NONE: (height, width) biçiminde görüntü.
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) —'pt'olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür. - disable_grouping (
bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır. - ignore_index (
int, kwargs, opsiyonel) — Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verildiğinde, segmentasyon haritasındaki 0 (arka plan) ile belirtilen piksellerignore_indexile değiştirilir. - do_reduce_labels (
bool, kwargs, opsiyonel, varsayılanFalse) — Segmentasyon haritalarındaki tüm etiket değerlerini 1 azaltıp azaltmayacağı. Genellikle 0'ın arka plan için kullanıldığı ve arka planın veri setindeki tüm sınıflara dahil olmadığı veri setlerinde (ör. ADE20k) kullanılır. Arka plan etiketiignore_indexile değiştirilecektir. - num_labels (
int, kwargs, opsiyonel) — Segmentasyon haritasındaki etiket sayısı. - size_divisor (
int, kwargs, opsiyonel, varsayılan32) — Bazı omurga yapıları (backbone), belirli bir sayıya bölünebilen görüntüler gerektirir. Değer belirtilmezse, Swin Transformer'da kullanılan değer varsayılan olarak kullanılır.
Dönüş değeri
~image_processing_base.BatchFeature
- data (
dict) — call yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü (‘pixel_values’ vb.). - tensor_type (
Union[None, str, TensorType], isteğe bağlı) — Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz.
post_process_semantic_segmentation
< source >( outputstarget_sizes: list[tuple[int, int]] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]
Parametreler
- outputs (Mask2FormerForUniversalSegmentation) — Modelin ham çıktıları.
- target_sizes (
list[tuple[int, int]], isteğe bağlı) — Uzunluğu (batch_size) olan bir liste; listenin her öğesi (tuple[int, int]]), ilgili tahminin istenen nihai boyutunu (yükseklik, genişlik) temsil eder. None olarak bırakılırsa, tahminler yeniden boyutlandırılmaz. - return_segmentation_scores (
bool, isteğe bağlı, varsayılanFalse) — Segmentasyon haritasının yanı sıra segmentasyon puanlarının da döndürülüp döndürülmeyeceğini belirtir.Trueolduğunda, döndürülen listenin her öğesisegmentation(sınıf kimlikleri, şekil(height, width)) vesegmentation_scores(şekil(num_classes, height, width)) alanlarına sahip birSemanticSegmentationPostProcessorOutputnesnesidir.
Dönüş değeri
list[torch.Tensor] veya list[SemanticSegmentationPostProcessorOutput]
return_segmentation_scores=False (varsayılan) olduğunda, her öğesi sınıf kimliklerine sahip (height, width) biçiminde bir segmentasyon haritası olan, uzunluğu batch_size olan bir liste döndürülür. return_segmentation_scores=True olduğunda ise segmentation (sınıf kimlikleri, biçim (height, width)) ve segmentation_scores (biçim (num_classes, height, width)) alanlarına sahip SemanticSegmentationPostProcessorOutput nesnelerinden oluşan bir liste döndürülür. Her iki durumda da (height, width), hedef boyuta karşılık gelir (target_sizes belirtilmişse).
Mask2FormerForUniversalSegmentation çıktısını anlamsal segmentasyon haritalarına dönüştürür. Yalnızca PyTorch desteklenir.
post_process_instance_segmentation
< source >( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8target_sizes: list[tuple[int, int]] | None = Nonereturn_coco_annotation: bool | None = Falsereturn_binary_maps: bool | None = False ) → List[Dict]
Parametreler
- outputs (Mask2FormerForUniversalSegmentation) — Modelin ham çıktıları.
- threshold (
float, isteğe bağlı, varsayılan 0.5) — Tahmin edilen örnek maskelerini tutmak için olasılık puanı eşiği. - mask_threshold (
float, isteğe bağlı, varsayılan 0.5) — Tahmin edilen maskelerin ikili değerlere dönüştürülürken kullanılacak eşik. - overlap_mask_area_threshold (
float, isteğe bağlı, varsayılan 0.8) — Her ikili örnek maskesi içindeki küçük kopuk parçaları birleştirmek veya atmak için kullanılan örtüşme maskesi alan eşiği. - target_sizes (
List[Tuple], isteğe bağlı) — Uzunluğu (batch_size) olan bir liste; her liste öğesi (Tuple[int, int]]) ilgili tahminin istenen nihai boyutunu (yükseklik, genişlik) temsil eder. None olarak bırakılırsa, tahminler yeniden boyutlandırılmaz. - return_coco_annotation (
bool, isteğe bağlı, varsayılanFalse) —Trueolarak ayarlanırsa, segmentasyon haritaları COCO run-length encoding (RLE) biçiminde döndürülür. - return_binary_maps (
bool, isteğe bağlı, varsayılanFalse) —Trueolarak ayarlanırsa, segmentasyon haritaları, ikili segmentasyon haritalarının birleştirilmiş bir tensörü olarak döndürülür (her algılanan örnek için bir tane).
Dönüş değeri
List[Dict]
Her biri bir görüntüye ait olan ve her biri iki anahtar içeren sözlüklerden oluşan bir liste:
- segmentation — Her pikselin bir
segment_idtemsil ettiği,(height, width)biçiminde bir tensör veyaTrueolarak ayarlanmışsa return_coco_annotation için segmentasyon haritasınınList[List]run-length encoding (RLE) ifadesi veyaTrueolarak ayarlanmışsa return_binary_maps için(num_instances, height, width)biçiminde bir tensör.thresholdüzerinde maske bulunamazsaNoneolarak ayarlanır. - segments_info — Her segment hakkında ek bilgiler içeren bir sözlük.
- id —
segment_id'yi temsil eden bir tamsayır. - label_id —
segment_idile eşleşen etiket / semantik sınıf kimliğini temsil eden bir tamsayır. - score —
segment_idile segmentin tahmin skoru.
- id —
Mask2FormerForUniversalSegmentationOutput çıktısını nesne segmentasyonu tahminlerine dönüştürür.
Yalnızca PyTorch desteklenir. Nesneler üst üste gelebiliyorsa, doğru segmentasyon sonucunu almak için return_coco_annotation veya return_binary_maps parametrelerinden birini True olarak ayarlayın.
post_process_panoptic_segmentation
< source >( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8label_ids_to_fuse: set[int] | None = Nonetarget_sizes: list[tuple[int, int]] | None = None ) → List[Dict]
Parametreler
- outputs (
Mask2FormerForUniversalSegmentationOutput) — Mask2FormerForUniversalSegmentation'den gelen çıktılar. - threshold (
float, isteğe bağlı, varsayılan 0.5) — Tahmin edilen örnek maskelerini tutmak için olasılık puanı eşiği. - mask_threshold (
float, isteğe bağlı, varsayılan 0.5) — Tahmin edilen maskelerin ikili değerlere dönüştürülürken kullanılacak eşik. - overlap_mask_area_threshold (
float, isteğe bağlı, varsayılan 0.8) — Her ikili örnek maskesi içindeki küçük kopuk parçaları birleştirmek veya atmak için kullanılan örtüşme maskesi alan eşiği. - label_ids_to_fuse (
Set[int], isteğe bağlı) — Bu durumdaki etiketlerin tüm örnekleri birleştirilecektir. Örneğin bir görüntüde yalnızca bir gökyüzü, ancak birden fazla kişi olabileceğini söyleyebiliriz; bu nedenle gökyüzü için etiket kimliği bu kümede yer alırken, kişi için olan yer almaz. - target_sizes (
List[Tuple], isteğe bağlı) — Uzunluğu (batch_size) olan bir liste; listenin her öğesi (Tuple[int, int]]), batch içindeki her tahminin istenen nihai boyutuna (yükseklik, genişlik) karşılık gelir. None olarak bırakılırsa, tahminler yeniden boyutlandırılmaz.
Dönüş değeri
List[Dict]
Her biri bir görüntüye ait olan ve her biri iki anahtar içeren sözlüklerden oluşan bir liste:
- segmentation — her pikselin bir
segment_idtemsil ettiği,(height, width)biçiminde bir tensör;thresholdüzerinde bir maske bulunamazsaNoneolarak ayarlanır.target_sizesbelirtilirse, segmentation,target_sizesgirdisine göre yeniden boyutlandırılır. - segments_info — Her segment hakkında ek bilgiler içeren bir sözlük.
- id —
segment_id'yi temsil eden bir tamsayır. - label_id —
segment_idile eşleşen etiket / semantik sınıf kimliğini temsil eden bir tamsayır. - was_fused — bir boole değeri,
label_idlabel_ids_to_fuseiçindeyseTrue, aksi haldeFalse. Aynı sınıfın / etiketin birden fazla örneği birleştirildi ve tek birsegment_idatandı. - score —
segment_idile segmentin tahmin skoru.
- id —
Mask2FormerForUniversalSegmentationOutput çıktısını görüntü panotik segmentasyon tahminlerine dönüştürür. Yalnızca PyTorch desteklenir.