Hugging Face's logo

Transformers documentation

Laguna

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Эта модель была опубликована в HF papers 28.08.2024 и добавлена в Hugging Face Transformers 28.04.2026.

FlashAttention SDPA Tensor parallelism

Laguna

Laguna — это семейство языковых моделей с архитектурой mixture-of-experts от Poolside. Специфические для Laguna отличия от стандартного SwiGLU MoE-трансформера:

  • Число головок по слоям через num_attention_heads_per_layer — различные слои декодера могут иметь разное количество query-головок, при этом общая форма KV-кэша остаётся одинаковой.
  • Маршрутизатор Sigmoid MoE со сбалансировкой нагрузки без вспомогательной функции потерь (arXiv:2408.15664) и необязательное мягкое ограничение логитов (moe_router_logit_softcapping) — оценки маршрутизатора представляют собой поэлементный сигмоид логитов гейта плюс обучаемое смещение для каждого эксперта (e_score_correction_bias), которое добавляется только на этапе выбора.

Использование

Пайплайн
AutoModel
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="poolside/Laguna-XS.2",
    dtype="auto",
    device_map="auto",
)
print(pipe("The capital of France is", max_new_tokens=20, do_sample=False)[0]["generated_text"])

Примечания

  • Бэкенды внимания. Поддерживаются SDPA (по умолчанию), FlashAttention-2 и flex attention. Гейтинг выходных значений внимания применяется вне вызова ядра, поэтому работает со всеми бэкендами.
  • num_attention_heads_per_layer. Если параметр задан, его длина должна быть равна num_hidden_layers. Каждое значение должно делиться нацело на num_key_value_heads.
  • layer_types. По умолчанию, если значение не задано, используется ["full_attention"] * num_hidden_layers. Чтобы включить скользящее окно внимания, передайте список значений "full_attention" / "sliding_attention".
  • mlp_layer_types. Тип MLP для каждого слоя, значения "dense" или "sparse". Длина должна быть равна num_hidden_layers. По умолчанию ["dense"] + ["sparse"] * (num_hidden_layers - 1) (первый слой dense, остальные MoE), если значение не задано.
  • moe_apply_router_weight_on_input=True в настоящее время не поддерживается в сочетании с ядром объединённых экспертов (grouped_mm_experts_forward); validate_architecture вызывает ошибку на этапе построения конфигурации. Установите значение False (по умолчанию).

LagunaConfig

класс transformers.LagunaConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 100352hidden_size: int = 2048intermediate_size: int = 8192num_hidden_layers: int = 40num_attention_heads: int = 48num_key_value_heads: int = 8hidden_act: str = 'silu'max_position_embeddings: int = 131072initializer_range: float = 0.02rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonesliding_window: int = 512attention_dropout: float | int = 0.0moe_intermediate_size: int = 512shared_expert_intermediate_size: int = 512num_experts_per_tok: int = 8num_experts: int = 256output_router_logits: bool = Falserouter_aux_loss_coef: float = 0.001layer_types: list[str] | None = Nonepad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Nonehead_dim: int = 128attention_bias: bool = Falsegating: bool | str = Truenum_attention_heads_per_layer: list[int] | None = Nonemlp_layer_types: list[str] | None = Nonemoe_routed_scaling_factor: float = 1.0moe_apply_router_weight_on_input: bool = Falsemoe_router_logit_softcapping: float = 0.0 )

Параметры

  • vocab_size (int, optional, по умолчанию 100352) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в input_ids.
  • hidden_size (int, optional, по умолчанию 2048) — Размерность скрытых представлений.
  • intermediate_size (int, необязательный, по умолчанию 8192) — Размерность представлений MLP.
  • num_hidden_layers (int, optional, по умолчанию 40) — Количество скрытых слоев в декодере Transformer.
  • num_attention_heads (int, optional, по умолчанию 48) — Количество голок внимания в каждом слое внимания декодера Transformer.
  • num_key_value_heads (int, optional, по умолчанию 8) — Количество ключевых и value-голов, используемых для реализации Grouped Query Attention. Если num_key_value_heads=num_attention_heads, модель использует Multi Head Attention (MHA); если num_key_value_heads=1 — Multi Query Attention (MQA); в остальных случаях применяется GQA. При конвертации мультиголовного чекпоинта в GQA-чекпоинт каждая групповая ключевая и value-голова должна конструироваться путем усреднения (meanpooling) всех исходных голов в этой группе. Дополнительные подробности — в этой статье. Если значение не указано, по умолчанию используется num_attention_heads.
  • hidden_act (str, optional, по умолчанию silu) — Нелинейная функция активации (функция или строка) в декодере. Например, “gelu”, “relu”, “silu” и т. д.
  • max_position_embeddings (int, optional, по умолчанию 131072) — Максимальная длина последовательности, с которой может использоваться данная модель.
  • initializer_range (float, optional, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
  • rms_norm_eps (float, optional, по умолчанию 1e-06) — Значение epsilon, используемое слоями нормализации RMS.
  • use_cache (bool, optional, по умолчанию True) — Указывает, должен ли модель возвращать последние ключи/значения внимания (не используется во всех моделях). Актуально только если config.is_decoder=True или если модель является генеративной моделью только с декодером.
  • tie_word_embeddings (bool, optional, по умолчанию False) — Связывать ли веса эмбеддингов согласно маппингу tied_weights_keys модели.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], optional) — Словарь, содержащий параметры конфигурации для встраиваний RoPE. В словаре должно быть указано значение для rope_theta и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными max_position_embeddings.
  • sliding_window (int, optional, по умолчанию 512) — Размер окна скользящего внимания. Если None, скользящее окно не применяется.
  • attention_dropout (Union[float, int], optional, по умолчанию 0.0) — Коэффициент dropout для вероятностей внимания.
  • moe_intermediate_size (int, optional, по умолчанию 512) — Промежуточный размер MLP маршрутизированных экспертов.
  • shared_expert_intermediate_size (int, optional, по умолчанию 512) — Промежуточный размер MLP общих экспертов.
  • num_experts_per_tok (int, optional, по умолчанию 8) — Количество экспертов, к которым маршрутизируется каждый токен. Это значение top-k для маршрутизации по выбору токена.
  • num_experts (int, optional, по умолчанию 256) — Количество маршрутизируемых экспертов в слоях MoE.
  • output_router_logits (bool, optional, по умолчанию False) — Определяет, следует ли модели возвращать логиты роутера. Включение этого параметра также позволяет модели выводить вспомогательную потерю, включая потерю балансировки нагрузки и z-потерю роутера.
  • router_aux_loss_coef (float, optional, по умолчанию 0.001) — Коэффициент вспомогательной функции потерь для балансировки нагрузки. Используется для штрафования неравномерного маршрутизации запросов к экспертам в MoE-моделях.
  • layer_types (list[str], optional) — Список, в котором для каждого индекса слоя явно указан его тип. Если не задан, будет автоматически сгенерирован на основе значений конфигурации.
  • pad_token_id (int, optional) — Идентификатор токена, используемого для выравнивания (padding) в словаре.
  • bos_token_id (int, optional) — Идентификатор токена, используемого для обозначения начала потока в словаре.
  • eos_token_id (Union[int, list[int]], optional) — Идентификатор токена, используемого для обозначения конца потока в словаре.
  • head_dim (int, optional, по умолчанию 128) — Размер измерения головы внимания. Если значение равно None, по умолчанию используется hidden_size // num_attention_heads
  • attention_bias (bool, необязательный, по умолчанию False) — Использовать ли смещение в слоях проекции запроса, ключа, значения и вывода при само-внимании.
  • gating (bool или str, необязательный, по умолчанию True) — Гранулярность Softplus-выходного гейта. True или "per-head" применяет один гейт на каждую голову, распространяя его по head_dim; "per-element" применяет один гейт на каждый канал (head, head_dim).
  • num_attention_heads_per_layer (list[int], optional) — Переопределение num_attention_heads для каждого слоя. Длина должна быть равна num_hidden_layers.
  • mlp_layer_types (list[str], optional) — Тип MLP для каждого слоя — "dense" или "sparse". Длина должна быть равна num_hidden_layers. По умолчанию первый слой — dense, остальные — sparse.
  • moe_routed_scaling_factor (float, optional, по умолчанию 1.0) — Скаляр, применяемый к выводу маршрутизированных экспертов перед объединением с выводом общего эксперта.
  • moe_apply_router_weight_on_input (bool, optional, по умолчанию False) — Применять ли веса роутера к входу MoE, а не к выходу. В transformers пока не поддерживается; при значении True на данный момент будет вызвано исключение NotImplementedError.
  • moe_router_logit_softcapping (float, optional, по умолчанию 0.0) — Коэффициент масштабирования при применении tanh-softcapping к логитам роутера MoE.

Это класс конфигурации для хранения конфигурации LagunaModel. Он используется для создания модели Laguna в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации poolside/laguna-XS.2

Объекты конфигурации наследуются от [PreTrainedConfig] и могут использоваться для управления выводами модели. Дополнительную информацию см. в документации по [PreTrainedConfig].

Пример:

>>> from transformers import LagunaModel, LagunaConfig

>>> configuration = LagunaConfig()
>>> model = LagunaModel(configuration)
>>> configuration = model.config

validate_architecture

< >

( )

Часть валидации, работающей на базе @strict.

LagunaModel

класс transformers.LagunaModel

< >

( config: LagunaConfig )

Параметры

  • config (LagunaConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

Модель Laguna без дополнительных слоёв, выводящая необработанные скрытые состояния.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeModelOutputWithPast or tuple(torch.FloatTensor)

Параметры

  • input_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.

    Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

    Что такое входные идентификаторы?

  • attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
    • 1 для токенов, которые не замаскированы,
    • 0 для токенов, которые замаскированы.

    Что такое маски внимания?

  • position_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].

    Что такое идентификаторы позиций?

  • past_key_values (~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это past_key_values , возвращённые моделью на предыдущем этапе декодирования, когда use_cache=True или config.use_cache=True.

    В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если past_key_values не переданы, по умолчанию будет инициализирован DynamicCache.

    Модель будет выводить тот же формат кэша, который был передан на вход.

    Если используются past_key_values, ожидается, что пользователь передаст только необработанные input_ids (те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы (batch_size, unprocessed_length), а не все input_ids формы (batch_size, sequence_length).

  • inputs_embeds (torch.FloatTensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска эмбеддингов модели.
  • use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).

Возвращает

MoeModelOutputWithPast или tuple(torch.FloatTensor)

MoeModelOutputWithPast или кортеж из torch.FloatTensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (LagunaConfig) и входных данных.

Метод forward модели LagunaModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • last_hidden_state (torch.FloatTensor формы (batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.

  • past_key_values (Cache, необязательный, возвращается при передаче use_cache=True или когда config.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.

    Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и, при необходимости, если config.is_encoder_decoder=True, в блоках кросс-внимания), которые можно использовать (см. входной параметр past_key_values) для ускорения последовательного декодирования.

  • hidden_states (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — кортеж из torch.FloatTensor (один для вывода слоя встраиваний, если модель имеет такой слой, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_attentions=True или если config.output_attentions=True) — Кортеж torch.FloatTensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

  • router_logits (tuple(torch.FloatTensor), необязательный, возвращается, если переданы output_router_probs=True и config.add_router_probs=True или если config.output_router_probs=True) — кортеж torch.FloatTensor (по одному на каждый слой) формы (batch_size, sequence_length, num_experts).

    Сырые логиты роутера (после softmax), вычисляемые роутерами MoE; эти значения используются для вычисления вспомогательной функции потерь в моделях Mixture of Experts.

LagunaForCausalLM

класс transformers.LagunaForCausalLM

< >

( config: LagunaConfig )

Параметры

  • config (LagunaConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

Модель Laguna для каузального моделирования языка.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Noneoutput_router_logits: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeCausalLMOutputWithPast or tuple(torch.FloatTensor)

Параметры

  • input_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.

    Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

    Что такое входные идентификаторы?

  • attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
    • 1 для токенов, которые не замаскированы,
    • 0 для токенов, которые замаскированы.

    Что такое маски внимания?

  • position_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].

    Что такое идентификаторы позиций?

  • past_key_values (~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это past_key_values , возвращённые моделью на предыдущем этапе декодирования, когда use_cache=True или config.use_cache=True.

    В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если past_key_values не переданы, по умолчанию будет инициализирован DynamicCache.

    Модель будет выводить тот же формат кэша, который был передан на вход.

    Если используются past_key_values, ожидается, что пользователь передаст только необработанные input_ids (те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы (batch_size, unprocessed_length), а не все input_ids формы (batch_size, sequence_length).

  • inputs_embeds (torch.FloatTensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска эмбеддингов модели.
  • labels (torch.LongTensor формы (batch_size, sequence_length), необязательный) — Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне [0, ..., config.vocab_size] или быть равны -100 (см. docstring input_ids). Токены с индексами, установленными в -100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне [0, ..., config.vocab_size].
  • use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).
  • output_router_logits (bool, необязательный) — Указывает, следует ли возвращать логиты всех роутеров. Они полезны для вычисления потерь роутера и не должны возвращаться во время инференса.
  • logits_to_keep (Union[int, torch.Tensor], необязательный, по умолчанию 0) — Если передано значение типа int, вычисляет logits для последних logits_to_keep токенов. Если указано 0, logits вычисляются для всех input_ids (особый случай). Для генерации нужны logits только последнего токена, и вычисление их только для этого токена позволяет сэкономить память, что становится весьма значимым для длинных последовательностей или большого размера словаря. Если передано значение типа torch.Tensor, оно должно быть одномерным и соответствовать индексам, которые нужно сохранить в измерении длины последовательности. Это полезно при использовании упакованного формата тензоров (один размер для batch и длины последовательности).

Возвращает

MoeCausalLMOutputWithPast или tuple(torch.FloatTensor)

Объект MoeCausalLMOutputWithPast или кортеж из torch.FloatTensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (LagunaConfig) и входных данных.

Метод forward класса LagunaForCausalLM переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • loss (torch.FloatTensor формы (1,), необязательный, возвращается, если задан labels) — Потери языковой модели (для предсказания следующего токена).

  • logits (torch.FloatTensor формы (batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).

  • aux_loss (torch.FloatTensor, необязательный, возвращается при передаче output_router_logits=True или при config.output_router_logits=True, если модель обучает свой роутер с потерей балансировки нагрузки) — вспомогательная потеря балансировки нагрузки для разреженных модулей. Модели, которые балансируют свои эксперты с помощью смещения роутера (DeepSeek-V3 и архитектуры, производные от него), возвращают здесь None, при этом всё равно возвращая router_logits.

  • router_logits (tuple(torch.FloatTensor), необязательный, возвращается при передаче output_router_logits=True или если config.output_router_logits=True) — Кортеж torch.FloatTensor (по одному для каждого разреженного слоя) формы (batch_size * sequence_length, num_experts).

    Сырые логиты маршрутизатора, вычисленные маршрутизаторами MoE. Их можно использовать для вычисления потерь сбалансированности нагрузки или для анализа того, как токены распределяются между экспертами.

  • past_key_values (Cache, необязательный, возвращается при передаче use_cache=True или когда config.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.

    Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход past_key_values) для ускорения последовательного декодирования.

  • hidden_states (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — кортеж из torch.FloatTensor (один для вывода слоя встраиваний, если модель имеет такой слой, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_attentions=True или если config.output_attentions=True) — Кортеж torch.FloatTensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

Update on GitHub

←Kolibri1 LED→