# Evolla

## نظرة عامة

قُدِّم نموذج Evolla في [فكّ الشفرة الجزيئية للبروتينات باستخدام Evolla](https://doi.org/10.1101/2025.01.05.630192) بواسطة [Zhou et al.](https://doi.org/10.1101/2025.01.05.630192).

Evolla هو نموذج توليدي متقدم للبروتينات واللغة، يتكون من 80 مليار معامل، مصمم لفكّ الشفرة الجزيئية للبروتينات. يدمج النموذج المعلومات المستمدة من تسلسلات البروتينات وهيكلها واستعلامات المستخدم، لتوليد رؤى دقيقة ودقيقة السياق حول وظيفة البروتين. وقد تم تدريب Evolla على مجموعة بيانات غير مسبوقة مولّدة بالذكاء الاصطناعي، تضم 546 مليون زوج من أسئلة البروتينات وأجوبتها، و150 مليار رمز لفظي، مما يُحدث تقدماً كبيراً في أبحاث البروتيوميات وعلم الوراثة الوظيفي، ويوفر رؤى بمستوى الخبراء، ويكشف عن المنطق الجزيئي المُرمَّز في البروتينات.

المستخلص من الورقة البحثية هو كالتالي:

*البروتينات، وهي الآلات الجزيئية المعقدة في الطبيعة، هي نتاج مليارات السنين من التطور وتلعب أدواراً أساسية في الحفاظ على الحياة. ومع ذلك، لا يزال فك شيفرة لغتها الجزيئية - أي فهم كيفية ترميز تسلسلات البروتينات وهيكلاتها وتحديد الوظائف البيولوجية - تحدياً محورياً في علم الأحياء الحديث. هنا، نقدم Evolla، وهو نموذج توليدي لغوي للبروتينات من الطراز الأمامي بحجم 80 مليار معالج، مصمم لفك شيفرة اللغة الجزيئية للبروتينات. من خلال دمج المعلومات من تسلسلات البروتينات وهيكلاتها واستعلامات المستخدم، يولّد Evolla رؤى دقيقة ودقيقة سياقياً حول وظيفة البروتين. تكمن إحدى الابتكارات الرئيسية في Evolla في تدريبه على مجموعة بيانات غير مسبوقة تم إنشاؤها بالذكاء الاصطناعي: 546 مليون زوج من أسئلة البروتينات وأجوبتها و150 مليار رمز كلمة، مصممة لتعكس التعقيد الهائل والتنوع الوظيفي للبروتينات. بعد ما قبل التدريب، يدمج Evolla تحسين التفضيل المباشر (DPO) لتحسين النموذج بناءً على إشارات التفضيل، والتوليد المعزز بالاسترجاع (RAG) لدمج المعرفة الخارجية، مما يحسّن جودة الاستجابة وملاءمتها. لتقييم أدائه، نقترح إطاراً جديداً، وهو مساحة الاستجابة التوجيهية (IRS)، مما يثبت أن Evolla يوفر رؤى بمستوى الخبراء، مما يدفع أبحاث البروتيوميات وعلم الجينوم الوظيفي إلى الأمام مع إلقاء الضوء على المنطق الجزيئي المرمز في البروتينات. العرض التوضيحي عبر الإنترنت متاح على http://www.chat-protein.com/.*

أمثلة:

```python
processor = EvollaProcessor.from_pretrained("westlake-repl/Evolla-10B-DPO-hf")
model = EvollaForProteinText2Text.from_pretrained("westlake-repl/Evolla-10B-DPO-hf", device_map="auto")
# aa_seq should have same length as foldseek
protein_inputs = [
    {

        "aa_seq": "MATGGRRG...",
        "foldseek": "###lqpfd...", # hashtag means the low-confidence foldseek tokens
    },
    {
        "aa_seq": "MLPGLALL...",
        "foldseek": "dfwwkwad...",
    }
]
message_list = [
    [
        {
            "role": "system",
            "content": "You are an AI expert that can answer any questions about protein.",
        },
        {"role": "user", "content": "What is the function of this protein?"},
    ],
    [
        {
            "role": "system",
            "content": "You are an AI expert that can answer any questions about protein.",
        },
        {"role": "user", "content": "What is the function of this protein?"},
    ]
]
input_dict = processor(
    protein_inputs, messages_list, return_tensors="pt", text_max_length=512, protein_max_length=1024
)
with torch.no_grad():
    generated_ids = hf_model.generate(**input_dict)
generated_texts = processor.batch_decode(
    generated_ids, skip_special_tokens=True
)
```

نصائح:

- تمت مساهمة هذا النموذج من قِبل [Xibin Bayes Zhou](https://huggingface.co/XibinBayesZhou).
- يمكن العثور على الكود الأصلي [هنا](https://github.com/westlake-repl/Evolla).

## EvollaConfig[[transformers.EvollaConfig]]

#### transformers.EvollaConfig[[transformers.EvollaConfig]]

```python
transformers.EvollaConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, protein_encoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, vocab_size: int = 128256, hidden_size: int = 4096, intermediate_size: int = 14336, num_hidden_layers: int = 32, num_attention_heads: int = 32, num_key_value_heads: int | None = 8, hidden_act: str = 'silu', max_position_embeddings: int = 8192, rms_norm_eps: float = 1e-05, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, attention_bias: bool = False, attention_dropout: float | int | None = 0.0, mlp_bias: bool = False, aligner_ffn_mult: int | None = 4, aligner_enable_bias: bool | None = True, aligner_attention_probs_dropout_prob: float | None = 0.1, aligner_num_add_layers: int | None = 8, resampler_depth: int | None = 6, resampler_dim_head: int | None = 64, resampler_heads: int | None = 8, resampler_num_latents: int | None = 64, resampler_ff_mult: int | None = 4, initializer_range: float = 0.02, pad_token_id: int | None = None, bos_token_id: int | None = 128000, eos_token_id: int | list[int] | None = 128009, use_cache: bool = False, tie_word_embeddings: bool = False, is_decoder: bool | None = False, add_cross_attention: bool | None = False)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/evolla/configuration_evolla.py#L64)

**المعاملات:**

protein_encoder_config (`dict`، *اختياري*) : قاموس لخيارات التهيئة المستخدمة لتبنيء `SaProtConfig`.

vocab_size (`int`، *اختياري*، القيمة الافتراضية هي `128256`) : حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة `input_ids`.

hidden_size (`int`، *اختياري*، القيمة الافتراضية `4096`) : بُعد التمثيلات المخفية.

intermediate_size (`int`، *اختياري*، القيمة الافتراضية `14336`) : بُعد تمثيلات MLP.

num_hidden_layers (`int`، *اختياري*، القيمة الافتراضية `32`) : عدد الطبقات المخفية في مُفكِّك Transformer.

num_attention_heads (`int`، *اختياري*، القيمة الافتراضية `32`) : عدد رؤوس الانتباه في كل طبقة انتباه داخل مُفكِّك Transformer.

num_key_value_heads (`int`، *اختياري*، القيمة الافتراضية `8`) : يمثل هذا عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كان `num_key_value_heads=num_attention_heads`، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كان `num_key_value_heads=1` فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تفتيش متعددة الرؤوس إلى نقطة تفتيش GQA، يجب بناء كل رأس key و value ضمن المجموعة عن طريق meanpooling جميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجعوا [هذا البحث](https://huggingface.co/papers/2305.13245). إذا لم يتم تحديد القيمة، فستتخذ القيمة الافتراضية `num_attention_heads`.

hidden_act (`str`، *اختياري*، القيمة الافتراضية `silu`) : دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، `"gelu"`، `"relu"`، `"silu"`، وما إلى ذلك.

max_position_embeddings (`int`، *اختياري*، الافتراضي هو `8192`) : أقصى طول تسلسل قد يُستخدم به هذا النموذج.

rms_norm_eps (`float`، *اختياري*، القيمة الافتراضية `1e-05`) : قيمة الإيبسلون المستخدمة في طبقات تطبيع rms.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`، *اختياري*) : قاموس يحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن يحتوي القاموس على قيمة لـ `rope_theta`، وبشكل اختياري معاملات تُستخدم للتوسيع في حال رغبتَ في استخدام RoPE مع `max_position_embeddings` أطول.

attention_bias (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم استخدام انحياز في طبقات الإسقاط للاستعلام والمفتاح والقيمة والمخرجات أثناء الانتباه الذاتي.

attention_dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.0`) : نسبة الإسقاط (dropout) لاحتمالات الانتباه.

mlp_bias (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم استخدام انحياز في طبقات up_proj و down_proj و gate_proj ضمن طبقات MLP.

aligner_ffn_mult (`int`، *اختياري*، القيمة الافتراضية 4) : مضاعِف طبقة FFN لطبقة المحاذاة.

aligner_enable_bias (`bool`، *اختياري*، الافتراضي `True`) : ما إذا كان سيتم استخدام الانحياز في طبقة المحاذاة.

aligner_attention_probs_dropout_prob (`float`، *اختياري*، القيمة الافتراضية 0.1) : نسبة الإسقاط (dropout) لاحتمالات الانتباه في طبقة المحاذاة.

aligner_num_add_layers (`int`، *اختياري*، القيمة الافتراضية 8) : عدد الطبقات الإضافية لطبقة المحاذاة.

resampler_depth (`int`, *اختياري*، القيمة الافتراضية 6) : عمق طبقة المعيد العينة في نموذج llama.

resampler_dim_head (`int`، *اختياري*، القيمة الافتراضية 64) : بُعد الرؤوس في طبقة المُعيد (resampler) في نموذج Llama.

resampler_heads (`int`، *اختياري*، القيمة الافتراضية 8) : عدد الرؤوس في طبقة المعيد (resampler) في نموذج Llama.

resampler_num_latents (`int`، *اختياري*، القيمة الافتراضية 64) : عدد الكمونيات في طبقة المعيد (resampler) في نموذج Llama.

resampler_ff_mult (`int`، *اختياري*، القيمة الافتراضية 4) : مضاعِف طبقة FFN لطبقة المعيد (resampler).

initializer_range (`float`، *اختياري*، القيمة الافتراضية `0.02`) : الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.

pad_token_id (`int`, *اختياري*) : معرّف الرمز (Token id) المستخدم للتعبئة (padding) في المفردات.

bos_token_id (`int`، *اختياري*، القيمة الافتراضية `128000`) : معرّف الرمز المستخدم لبدء البث في المفردات.

eos_token_id (`Union[int, list[int]]`، *اختياري*، القيمة الافتراضية `128009`) : معرّف الرمز المستخدم لنهاية البث في المفردات.

use_cache (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب على النموذج إرجاع انتباهات المفاتيح/القيم الأخيرة (لا تُستخدم في جميع النماذج). لا ينطبق إلا إذا كان `config.is_decoder=True` أو عندما يكون النموذج نموذجًا توليديًا يعتمد على المُفكِّك فقط.

tie_word_embeddings (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب ربط ترميزات الأوزان وفقاً لخريطة `tied_weights_keys` الخاصة بالنموذج.

is_decoder (`bool`، *اختياري*، الافتراضي `False`) : ما إذا كان النموذج يُستخدم كمُفكِّك أم لا. إذا كان `False`، يُستخدم النموذج كمُشفِّر.

add_cross_attention (`bool`, *اختياري*, الافتراضي هو `False`) : ما إذا كان يجب إضافة طبقات الانتباه المتقاطع إلى النموذج.

هذه فئة الإعدادات المخزنة لإعدادات نموذج EvollaModel. تُستخدم لاستحداث نموذج Evolla وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [westlake-repl/Evolla-10B-hf](https://huggingface.co/westlake-repl/Evolla-10B-hf)

ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات.

مثال:

```python
>>> from transformers import EvollaModel, EvollaConfig

>>> # Initializing a Evolla evolla-10b style configuration
>>> configuration = EvollaConfig()

>>> # Initializing a model from the evolla-10b style configuration
>>> model = EvollaModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## EvollaModel[[transformers.EvollaModel]]

#### transformers.EvollaModel[[transformers.EvollaModel]]

```python
transformers.EvollaModel(config: EvollaConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/evolla/modeling_evolla.py#L1269)

#### forward[[transformers.EvollaModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, protein_input_ids: typing.Optional[torch.LongTensor] = None, protein_attention_mask: typing.Optional[torch.Tensor] = None, structure_feats: typing.Optional[torch.Tensor] = None, msa_feats: typing.Optional[torch.Tensor] = None, structure_batch_mask: typing.Optional[torch.Tensor] = None, msa_batch_mask: typing.Optional[torch.Tensor] = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/evolla/modeling_evolla.py#L1297)

**المعاملات:**

input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

position_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها من النطاق `[0, config.n_positions - 1]`.  [ما هي معرّفات المواضع؟](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`، *اختياري*) : حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكوّن هذا عادةً من `past_key_values` التي يعيدها النموذج في مرحلة سابقة من فك الترميز، عندما يكون `use_cache=True` أو `config.use_cache=True`. يُسمح فقط بتمرير كائن [Cache](/docs/transformers/v5.23.0/ar/internal/generation_utils#transformers.Cache) كمدخل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). إذا لم يتم تمرير `past_key_values`، فسيتم تهيئة [DynamicCache](/docs/transformers/v5.23.0/ar/internal/generation_utils#transformers.DynamicCache) افتراضيًا. سيُخرج النموذج نفس تنسيق الذاكرة المؤقتة المُدخل. إذا تم استخدام `past_key_values`، يُتوقع من المستخدم إدخال `input_ids` غير المعالجة فقط (تلك التي لم تُعطَ حالات مفاتيح وقيم سابقة لها في هذا النموذج) بأبعاد `(batch_size, unprocessed_length)` بدلاً من جميع `input_ids` بأبعاد `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.

use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`).

protein_input_ids (`torch.LongTensor`، *اختياري*) : المعرّفات المدخلة لتسلسل البروتين في الرموز الواعية بالبنية. يجب أن يكون شكلها `(batch_size, protein_seq_length)` ونوعها `torch.LongTensor`.

protein_attention_mask (`torch.Tensor`, *اختياري*) : قناع الانتباه (attention mask) لسلسلة البروتين. يجب أن يكون على شكل `(batch_size, protein_seq_length)` ونوعه `torch.Tensor`.

structure_feats (`torch.Tensor`, *اختياري*) : المعرّفات المدخلة للميزات القائمة على البنية فقط. يجب أن يكون شكلها `(batch_size, structure_seq_length, structure_feat_dim)` ونوعها `torch.Tensor`. مدخل وهمي حاليًا.

msa_feats (`torch.Tensor`, *اختياري*) : المعرّفات المدخلة للميزات المعتمدة كليًا على MSA. يجب أن يكون شكلها `(batch_size, msa_seq_length, msa_feat_dim)` ونوعها `torch.Tensor`. مدخل وهمي حاليًا.

structure_batch_mask (`torch.Tensor`, *اختياري*) : قناع الدفعة (batch mask) لتحديد أي تسلسلات البروتين تعتمد بحتاً على البنية. يجب أن يكون شكله `(batch_size)` ونوعه `torch.Tensor`. يجب أن يُستخدم مع `structure_feats`. مدخل وهمي حالياً.

msa_batch_mask (`torch.Tensor`, *اختياري*) : قناع الدفعة (batch mask) لتحديد أي تسلسلات البروتين تعتمد كليًا على MSA. يجب أن يكون شكله `(batch_size)` ونوعه `torch.Tensor`. يجب أن يُستخدم مع `msa_feats`. مدخل وهمي حاليًا.

**يعيد:** [BaseModelOutputWithPast](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) أو `tuple(torch.Tensor)`

[BaseModelOutputWithPast](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد (`None`) والمدخلات.

تتجاوز طريقة [EvollaModel](/docs/transformers/v5.23.0/ar/model_doc/evolla#transformers.EvollaModel) الأمامية (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **last_hidden_state** (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`) -- تسلسل من حالات الإخفاء (hidden-states) عند مخرج الطبقة الأخيرة من النموذج.

  إذا تم استخدام `past_key_values`، فإن الحالة المخفية الأخيرة فقط من التسلسلات ذات الشكل `(batch_size, 1, hidden_size)` هي التي تُخرج.
- **past_key_values** (`Cache`، *اختياري*، يُعاد عند تمرير `use_cache=True` أو عند تعيين `config.use_cache=True`) -- هو كائن من نوع [Cache](/docs/transformers/v5.23.0/ar/internal/generation_utils#transformers.Cache). لمزيد من التفاصيل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache).

  تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي، وفي كتل الانتباه المتقاطع اختياريًا إذا كان `config.is_encoder_decoder=True`) يمكن استخدامها (انظر مدخل `past_key_values`) لتسريع فك الترميز التسلسلي.
- **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

## EvollaForProteinText2Text[[transformers.EvollaForProteinText2Text]]

#### transformers.EvollaForProteinText2Text[[transformers.EvollaForProteinText2Text]]

```python
transformers.EvollaForProteinText2Text(config: EvollaConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/evolla/modeling_evolla.py#L1396)

#### forward[[transformers.EvollaForProteinText2Text.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, protein_input_ids: typing.Optional[torch.LongTensor] = None, protein_attention_mask: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/evolla/modeling_evolla.py#L1411)

**المعاملات:**

input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/v5.23.0/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids)

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.

labels (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : تسميات لحساب خسارة نمذجة اللغة المقنّعة. يجب أن تكون الفهارس إما ضمن `[0, ..., config.vocab_size]` أو -100 (انظر `input_ids` docstring). يتم تجاهل الرموز التي تكون فهارسها مضبوطة على `-100` (مقنّعة)، ولا تُحسب الخسارة إلا للرموز التي تسمياتها ضمن `[0, ..., config.vocab_size]`.

protein_input_ids (`torch.LongTensor`, *اختياري*) : المعرّفات المدخلة لتسلسل البروتين. يجب أن يكون شكلها `(batch_size, protein_seq_length)` ونوعها `torch.LongTensor`.

protein_attention_mask (`torch.Tensor`, *اختياري*) : قناع الانتباه (attention mask) لسلسلة البروتين. يجب أن يكون على شكل `(batch_size, protein_seq_length)` ونوعه `torch.Tensor`.

use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`).

logits_to_keep (`Union[int, torch.Tensor]`، *اختياري*، القيمة الافتراضية `0`) : إذا كان `int`، يتم حساب القيم اللوجستية (logits) لآخر `logits_to_keep` رموز. إذا كانت `0`، يتم حساب القيم اللوجستية لجميع `input_ids` (حالة خاصة). لا تكون قيم اللوجستيات للرمز الأخير فقط ضرورية للتوليد، ويمكن أن يوفر حسابها لذلك الرمز وحده ذاكرة، وهو ما يصبح ذا أهمية كبيرة للترتيبات الطويلة أو لحجم المفردات الكبير. إذا كان `torch.Tensor`، يجب أن يكون بعدًا واحدًا (1D) ويتوافق مع الفهارس التي يجب الاحتفاظ بها في بُعد طول الترتيب. وهذا مفيد عند استخدام تنسيق المصفوفات المعبأة (packed tensor format) (بعد واحد لكل من الدفعة وطول الترتيب).

تتجاوز طريقة [EvollaForProteinText2Text](/docs/transformers/v5.23.0/ar/model_doc/evolla#transformers.EvollaForProteinText2Text) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

مثال:

```python
>>> from transformers import EvollaProcessor, EvollaForProteinText2Text
>>> model = EvollaForProteinText2Text.from_pretrained("westlake/Evolla-10B-hf")
>>> processor = EvollaProcessor.from_pretrained("westlake/Evolla-10B-hf")

>>> protein_information = {
    "aa_seq": "your amino acid sequence",
    "foldseek": "your foldseek sequence",
}
>>> question = "What is the function of this protein?"
>>> message = [
    {"role": "system", "content": "You are an AI expert that can answer any questions about protein."},
    {"role": "user", "content": question},
]

>>> inputs = processor(proteins=[protein_information], messages_list=[message], return_tensors="pt", padding="longest")
>>> outputs = model.generate(**inputs)

>>> print(processor.batch_decode(outputs, skip_special_tokens=True))
```

## EvollaProcessor[[transformers.EvollaProcessor]]

#### transformers.EvollaProcessor[[transformers.EvollaProcessor]]

```python
transformers.EvollaProcessor(protein_tokenizer, tokenizer = None, protein_max_length = 1024, text_max_length = 512, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/evolla/processing_evolla.py#L27)

**المعاملات:**

protein_tokenizer (`EsmTokenizer`) : نسخة من [EsmTokenizer](/docs/transformers/v5.23.0/ar/model_doc/esm#transformers.EsmTokenizer). مُجزِّئ البروتين هو مدخل مطلوب.

tokenizer (`tokenizer_class`) : مُجزِّئ النص (tokenizer) هو مدخل إلزامي.

protein_max_length (`int`، *اختياري*، القيمة الافتراضية 1024) : الحد الأقصى لطول التسلسل الذي سيتم توليده.

text_max_length (`int`، *اختياري*، القيمة الافتراضية 512) : الحد الأقصى لطول النص الذي سيتم توليده.

ينشئ EvollaProcessor الذي يغلّف مُرمّز بروتينات ومُرمّز في مُعالِج واحد.

يوفر [EvollaProcessor](/docs/transformers/v5.23.0/ar/model_doc/evolla#transformers.EvollaProcessor) جميع وظائف `{protein_tokenizer_class}` و`tokenizer_class`. راجع `~{protein_tokenizer_class}` و`~tokenizer_class` لمزيد من المعلومات.

#### __call__[[transformers.EvollaProcessor.__call__]]

```python
__call__(proteins: list[dict] | dict | None = None, messages_list: list[list[dict]] | list[dict] | None = None, protein_max_length: int | None = None, text_max_length: int | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/evolla/processing_evolla.py#L85)

**المعاملات:**

proteins (`Union[List[dict], dict]`) : قائمة من القواميس أو قاموس واحد يحتوي على المفاتيح التالية: - `"aa_seq"` (`str`) -- تسلسل الأحماض الأمينية للبروتين. - `"foldseek"` (`str`) -- سلسلة foldseek للبروتين.

messages_list (`Union[List[List[dict]], List[dict]]`) : قائمة قوائم من القواميس أو قائمة قواميس تحتوي على المفاتيح التالية: - `"role"` (`str`) -- دور الرسالة. - `"content"` (`str`) -- محتوى الرسالة.

protein_max_length (`int`، *اختياري*، القيمة الافتراضية 1024) : الحد الأقصى لطول التسلسل الذي سيتم توليده.

text_max_length (`int`، *اختياري*، القيمة الافتراضية 512) : الحد الأقصى لطول النص.

return_tensors (`str` أو [TensorType](/docs/transformers/v5.23.0/ar/internal/file_utils#transformers.TensorType)، *اختياري*) : إذا تم تعيينه، فسيُرجع تينسورات من إطار عمل محدد. القيم المقبولة هي:  - `'pt'`: يُرجع كائنات `torch.Tensor` من PyTorch. - `'np'`: يُرجع كائنات `np.ndarray` من NumPy.

**يعيد:** `a dict with following keys`

- `protein_input_ids` (`torch.Tensor` من الشكل `(batch_size, sequence_length)`) -- معرّفات الإدخال لسلسلة البروتين.
- `protein_attention_mask` (`torch.Tensor` من الشكل `(batch_size, sequence_length)`) -- قناع الانتباه (attention mask) الخاص بتسلسل البروتين.
- `text_input_ids` (`torch.Tensor` من الشكل `(batch_size, sequence_length)`) -- معرّفات الإدخال لسلسلة النص.
- `text_attention_mask` (`torch.Tensor` من الشكل `(batch_size, sequence_length)`) -- قناع الانتباه (attention mask) لسلسلة النص.

