Transformers documentation
تحوّل الرؤية الالتفافية (CvT)
نُشر هذا النموذج في أوراق HF في 2021-03-29، وأُضيف إلى مكتبة Hugging Face Transformers في 2022-05-18.
تحوّل الرؤية الالتفافية (CvT)
Convolutional Vision Transformer (CvT) هو نموذج يجمع بين نقاط قوة شبكات العصبية التلافيفية (CNNs) ومحوّلات الرؤية (Vision Transformers) لمهام الرؤية الحاسوبية. فهو يُدخل طبقات تلافيفية في بنية محوّل الرؤية، مما يتيح له التقاط الأنماط المحلية في الصور مع الحفاظ على السياق العام الذي توفره آليات الانتباه الذاتي.
يمكنك العثور على جميع نقاط التفتيش الخاصة بـ CvT تحت منظمة Microsoft.
تمت مساهمة هذا النموذج من قِبل anujunj.
انقر على نماذج CvT في الشريط الجانبي الأيمن لمزيد من الأمثلة حول كيفية تطبيق CvT على مهام مختلفة في مجال الرؤية الحاسوبية.
يُبيّن المثال أدناه كيفية تصنيف صورة باستخدام Pipeline أو فئة AutoModel.
from transformers import pipeline
pipeline = pipeline(
task="image-classification",
model="microsoft/cvt-13",
device=0
)
pipeline("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg")import requests
import torch
from PIL import Image
from transformers import AutoImageProcessor, AutoModelForImageClassification
image_processor = AutoImageProcessor.from_pretrained("microsoft/cvt-13")
model = AutoModelForImageClassification.from_pretrained(
"microsoft/cvt-13",
device_map="auto"
)
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = image_processor(image, return_tensors="pt").to(model.device)
with torch.no_grad():
logits = model(**inputs).logits
predicted_class_id = logits.argmax(dim=-1).item()
class_labels = model.config.id2label
predicted_class_label = class_labels[predicted_class_id]
print(f"The predicted class label is: {predicted_class_label}")الموارد
راجع هذه المجموعة من دفاتر ملاحظات ViT للحصول على أمثلة على الاستدلال والتدريب الدقيق على مجموعات بيانات مخصصة. استبدل ViTFeatureExtractor وViTForImageClassification في هذه الدفاتر بـ AutoImageProcessor وCvtForImageClassification.
CvtConfig
فئة transformers.CvtConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_channels: int = 3patch_sizes: list[int] | tuple[int, ...] = (7, 3, 3)patch_stride: list[int] | tuple[int, ...] = (4, 2, 2)patch_padding: list[int] | tuple[int, ...] = (2, 1, 1)embed_dim: list[int] | tuple[int, ...] = (64, 192, 384)num_heads: list[int] | tuple[int, ...] = (1, 3, 6)depth: list[int] | tuple[int, ...] = (1, 2, 10)mlp_ratio: list[float] | tuple[float, ...] = (4.0, 4.0, 4.0)attention_drop_rate: list[float] | tuple[float, ...] = (0.0, 0.0, 0.0)drop_rate: list[float] | tuple[float, ...] = (0.0, 0.0, 0.0)drop_path_rate: list[float] | tuple[float, ...] = (0.0, 0.0, 0.1)qkv_bias: list[bool] | tuple[bool, ...] = (True, True, True)cls_token: list[bool] | tuple[bool, ...] = (False, False, True)qkv_projection_method: list[str] | tuple[str, ...] = ('dw_bn', 'dw_bn', 'dw_bn')kernel_qkv: list[int] | tuple[int, ...] = (3, 3, 3)padding_kv: list[int] | tuple[int, ...] = (1, 1, 1)stride_kv: list[int] | tuple[int, ...] = (2, 2, 2)padding_q: list[int] | tuple[int, ...] = (1, 1, 1)stride_q: list[int] | tuple[int, ...] = (1, 1, 1)initializer_range: float = 0.02layer_norm_eps: float = 1e-12 )
المعاملات
- num_channels (
int، اختياري، القيمة الافتراضية3) — عدد قنوات الإدخال. - patch_sizes (
Union[list[int], tuple[int, ...]]، اختياري، القيمة الافتراضية(7, 3, 3)) — حجم الباتش في كل مرحلة من مراحل النموذج. - patch_stride (
list[int]، اختياري، القيمة الافتراضية[4, 2, 2]) — حجم الخطوة (stride) لتضمين الباتش (patch) الخاص بكل مشفّر. - patch_padding (
list[int]، اختياري، القيمة الافتراضية[2, 1, 1]) — حجم الحشو الخاص بتضمين الباتش (patch) لكل مشفّر. - embed_dim (
Union[list[int], tuple[int, ...]]، اختياري، القيمة الافتراضية(64, 192, 384)) — أبعاد التضمينات والحالات المخفية. - num_heads (
Union[list[int], tuple[int, ...]]، اختياري، القيمة الافتراضية(1, 3, 6)) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer. - depth (
list[int]، اختياري، القيمة الافتراضية[1, 2, 10]) — عدد الطبقات في كل كتلة مُشفِّر. - mlp_ratio (
Union[list[float], tuple[float, ...]]، اختياري، القيمة الافتراضية(4.0, 4.0, 4.0)) — نسبة بُعد مخفي MLP إلى بُعد التضمين. - attention_drop_rate (
list[float]، اختياري، القيمة الافتراضية[0.0, 0.0, 0.0]) — نسبة إسقاط (dropout) لاحتمالات الانتباه. - drop_rate (
list[float]، اختياري، القيمة الافتراضية[0.0, 0.0, 0.0]) — نسبة dropout لاحتمالات تضمينات الباتش. - drop_path_rate (
Union[list[float], tuple[float, ...]]، اختياري، القيمة الافتراضية(0.0, 0.0, 0.1)) — معدل إسقاط المسار (Drop path rate) لدمج البقع (patch fusion). - qkv_bias (
Union[list[bool], tuple[bool, ...]]، اختياري، القيمة الافتراضية(True, True, True)) — ما إذا كان يجب إضافة انحياز إلى الاستعلامات والمفاتيح والقيم. - cls_token (
list[bool]، اختياري، القيمة الافتراضية[False, False, True]) — ما إذا كان يجب إضافة رمز تصنيف إلى مخرجات كلٍّ من المراحل الثلاث الأخيرة. - qkv_projection_method (
list[string], اختياري، القيمة الافتراضية [“dw_bn”, “dw_bn”, “dw_bn”]`) — طريقة الإسقاط للاستعلام والمفتاح والقيمة. الافتراضي هو التحويلات العميقة مع تطبيع الدفعة. لاستخدام الإسقاط الخطي استخدم “avg”. - kernel_qkv (
list[int]، اختياري، القيمة الافتراضية[3, 3, 3]) — حجم النواة للاستعلام والمفتاح والقيمة في طبقة الانتباه - padding_kv (
list[int]، اختياري، القيمة الافتراضية[1, 1, 1]) — حجم التعبئة (Padding) للمفاتيح والقيم في طبقة الانتباه - stride_kv (
list[int]، اختياري، القيمة الافتراضية[2, 2, 2]) — حجم الخطوة (stride) للمفاتيح والقيم في طبقة الانتباه - padding_q (
list[int]، اختياري، القيمة الافتراضية[1, 1, 1]) — حجم الحشو للاستعلام في طبقة الانتباه - stride_q (
list[int]، اختياري، القيمة الافتراضية[1, 1, 1]) — حجم الخطوة للاستعلام في طبقة الانتباه - initializer_range (
float، اختياري، القيمة الافتراضية0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. - layer_norm_eps (
float, اختياري، القيمة الافتراضية1e-12) — قيمة الإيبسلون المستخدمة في طبقات تطبيع الطبقة.
هذه فئة الإعدادات المخزنة لإعدادات نموذج CvtModel. تُستخدم لاستحداث نموذج Cvt وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ microsoft/cvt-13
ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.
مثال:
>>> from transformers import CvtConfig, CvtModel
>>> # Initializing a Cvt msft/cvt style configuration
>>> configuration = CvtConfig()
>>> # Initializing a model (with random weights) from the msft/cvt style configuration
>>> model = CvtModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configCvtModel
فئة transformers.CvtModel
< source >( config: CvtConfigadd_pooling_layer = True )
المعاملات
- config (CvtConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعدادات إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.
- add_pooling_layer (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إضافة طبقة تجميع
نموذج Cvt العاري الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى.
يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).
هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BaseModelOutputWithCLSToken or tuple(torch.Tensor)
المعاملات
- pixel_values (
torch.Tensorمن الشكل(batch_size, num_channels, image_size, image_size)، اختياري) — المصفوفات المقابلة للصور المدخلة. يمكن الحصول على قيم البكسلات باستخدام ConvNextImageProcessor. راجع ConvNextImageProcessor.call() للتفاصيل (processor_classيستخدم ConvNextImageProcessor لمعالجة الصور). - output_hidden_states (
bool، اختياري) — ما إذا كان يجب إرجاع حالات الطبقات المخفية لجميع الطبقات. راجعhidden_statesضمن الموترات المُرجعة للحصول على مزيد من التفاصيل. - return_dict (
bool، اختياري) — ما إذا كان يجب إرجاع ModelOutput بدلاً من tuple عادي.
يعيد
BaseModelOutputWithCLSToken أو tuple(torch.Tensor)
BaseModelOutputWithCLSToken أو مجموعة (tuple) من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر
مختلفة اعتمادًا على الإعداد (CvtConfig) والمدخلات.
تتجاوز طريقة CvtModel الخاصة بالتقديم (forward) الطريقة الخاصة __call__.
على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن
Moduleبدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.
last_hidden_state (
torch.Tensorمن الشكل(batch_size, sequence_length, hidden_size)، اختياري) — تسلسل حالات مخفية عند مخرجات الطبقة الأخيرة من النموذج.cls_token_value (
torch.Tensorمن الشكل(batch_size, 1, hidden_size)) — رمز التصنيف عند مخرج الطبقة الأخيرة من النموذج.hidden_states (
tuple[torch.Tensor, ...]، اختياري، يُعاد عند تمريرoutput_hidden_states=Trueأو عند تعيينconfig.output_hidden_states=True) — مجموعة منtorch.Tensor(واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) بأبعاد(batch_size, sequence_length, hidden_size).حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
CvtForImageClassification
فئة transformers.CvtForImageClassification
< source >( config: CvtConfig )
المعاملات
- config (CvtConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعدادات إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.
نموذج Cvt مُحوِّل (Transformer) مع رأس تصنيف صور في الأعلى (طبقة خطية فوق الحالة المخفية النهائية لرمز [CLS])، على سبيل المثال لـ ImageNet.
يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).
هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → ImageClassifierOutputWithNoAttention or tuple(torch.Tensor)
المعاملات
- pixel_values (
torch.Tensorمن الشكل(batch_size, num_channels, image_size, image_size)، اختياري) — المصفوفات المقابلة للصور المدخلة. يمكن الحصول على قيم البكسلات باستخدام ConvNextImageProcessor. راجع ConvNextImageProcessor.call() للتفاصيل (processor_classيستخدم ConvNextImageProcessor لمعالجة الصور). - labels (
torch.LongTensorof shape(batch_size,), اختياري) — التسميات لحساب خسارة تصنيف الصور/الانحدار. يجب أن تكون الفهارس ضمن[0, ..., config.num_labels - 1]. إذا كانconfig.num_labels == 1يتم حساب خسارة الانحدار (خسارة متوسط المربع)، وإذا كانconfig.num_labels > 1يتم حساب خسارة التصنيف (الإنتروبيا المتقاطعة). - output_hidden_states (
bool، اختياري) — ما إذا كان يجب إرجاع حالات الطبقات المخفية لجميع الطبقات. راجعhidden_statesضمن الموترات المُرجعة للحصول على مزيد من التفاصيل. - return_dict (
bool، اختياري) — ما إذا كان يجب إرجاع ModelOutput بدلاً من tuple عادي.
يعيد
ImageClassifierOutputWithNoAttention أو tuple(torch.Tensor)
ImageClassifierOutputWithNoAttention أو مجموعة (tuple) من
torch.Tensor (في حال تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة
تعتمد على الإعداد (CvtConfig) والمدخلات.
تتجاوز طريقة CvtForImageClassification الخاصة بالتقديم (forward) الطريقة الخاصة __call__.
على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن
Moduleبدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.
- loss (
torch.Tensorمن الشكل(1,)، اختياري، يُعاد عند توفيرlabels) — خسارة التصنيف (أو الانحدار إذا كان config.num_labels==1). - logits (
torch.Tensorمن الشكل(batch_size, config.num_labels)) — درجات التصنيف (أو الانحدار إذا كان config.num_labels==1) (قبل SoftMax). - hidden_states (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_hidden_states=Trueأو عند تعيينconfig.output_hidden_states=True) — مجموعة منtorch.Tensor(واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل مرحلة) من الشكل(batch_size, num_channels, height, width). حالات مخفية (تُسمى أيضًا خرائط الميزات) للنموذج عند إخراج كل مرحلة.
مثال:
>>> from transformers import AutoImageProcessor, CvtForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/cvt-13")
>>> model = CvtForImageClassification.from_pretrained("microsoft/cvt-13")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...