Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2020-02-12에 HF papers에 게시되었으며, 2023-06-20에 Hugging Face Transformers에 기여되었습니다.

T5v1.1

개요

T5v1.1은 Colin Raffel 외 연구진에 의해 google-research/text-to-text-transfer-transformer 저장소에서 공개되었습니다. 이는 기존 T5 모델의 개선된 버전입니다. 해당 모델은 patrickvonplaten에 의해 기여되었습니다. 원본 코드는 여기에서 확인할 수 있습니다.

사용 팁

T5v1.1의 가중치를 T5 모델에 직접 삽입할 수 있습니다. 방법은 다음과 같습니다:

from transformers import T5ForConditionalGeneration


model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")

T5 Version 1.1은 원래 T5 모델과 비교하여 다음과 같은 개선 사항을 포함합니다:

피드포워드 은닉층에서 ReLU 대신 GEGLU 활성화 함수를 사용합니다. 이 논문을 참조하세요.
pre-training에서는 Dropout이 비활성화되었습니다(품질 향상). fine-tuning에서는 Dropout을 다시 활성화해야 합니다.
다운스트림 태스크를 혼합하지 않고 C4에서만 사전 학습되었습니다.
임베딩 레이어와 분류기 레이어 간에 매개변수 공유가 없습니다.
“xl”과 “xxl”은 “3B”와 “11B”를 대체합니다. 모델의 형태가 약간 다르며, d_model은 더 크고 num_heads와 d_ff는 더 작습니다.

참고: C4에서만 사전 학습된 T5 Version 1.1은 어떤 감독 학습도 제외되었습니다. 따라서 이 모델은 원래 T5 모델과 달리 하위 작업에서 사용하려면 먼저 미세 조정해야 합니다. t5v1.1은 비지도 방식으로 사전 학습되었으므로, 단일 작업 미세 조정 시 작업 접두사를 사용하는 데는 실질적인 이점이 없습니다. 다중 작업 미세 조정을 수행하는 경우 접두사를 사용해야 합니다.

Google은 다음 변형을 출시했습니다:

모든 API 참조, 팁, 코드 예제 및 노트북은 T5 문서 페이지를 참조하세요.

Update on GitHub

←T5Gemma2 UL2→