Transformers documentation
Cộng đồng
Bắt đầu
Lớp cơ sở
Mô hình
Bộ tiền xử lý
Suy luận
Pipeline API
Tạo API
Tối ưu hóa
Trò chuyện với các model
Serving
Huấn luyện
Phần cứng
Lượng tử hóa
Tích hợp hệ sinh thái
Tài nguyên
Công thức cho các tác vụ
API
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.1).
Cộng đồng
Trang này tổng hợp các tài nguyên xoay quanh 🤗 Transformers do cộng đồng phát triển.
Tài nguyên cộng đồng
| Tài nguyên | Mô tả | Tác giả |
|---|---|---|
| Thẻ flash từ vựng Hugging Face Transformers | Bộ thẻ ghi nhớ dựa trên Transformers Docs Glossary được trình bày dưới dạng có thể dễ dàng học/tập lại bằng Anki, một ứng dụng mã nguồn mở, đa nền tảng được thiết kế đặc biệt cho việc ghi nhớ kiến thức trong thời gian dài. Xem video giới thiệu cách sử dụng các thẻ ghi nhớ này. | Darigov Research |
Sổ tay ghi chú của cộng đồng
| Notebook | Mô tả | Tác giả | |
|---|---|---|---|
| Chỉnh huấn luyện một Transformer đã được huấn luyện trước để tạo lời bài hát | Cách tạo lời bài hát theo phong cách của nghệ sĩ yêu thích bằng cách tinh chỉnh mô hình GPT-2 | Aleksey Korshuk | |
| Đào tạo T5 trên TPU | Cách huấn luyện T5 trên SQUAD bằng Transformers và Nlp | Suraj Patil | |
| Chỉnh huấn T5 cho Phân loại và Chọn nhiều | Cách tinh chỉnh T5 cho các tác vụ phân loại và lựa chọn nhiều phương án bằng định dạng văn-bản-sang-văn-bản với PyTorch Lightning | Suraj Patil | |
| Chỉnh huấn luyện DialoGPT trên các bộ dữ liệu và ngôn ngữ mới | Cách tinh chỉnh mô hình DialoGPT trên một bộ dữ liệu mới cho các chatbot hội thoại mở | Nathan Cooper | |
| Mô hình hóa chuỗi dài với Reformer | Cách huấn luyện trên các chuỗi dài tới 500.000 token với Reformer | Patrick von Platen | |
| Chỉnh huấn luyện BART cho Tóm tắt | Cách tinh chỉnh BART cho tóm tắt bằng fastai sử dụng blurr | Wayde Gilliam | |
| Chỉnh huấn luyện một Transformer đã được huấn luyện trước trên tweets của bất kỳ ai | Cách tạo các tweet theo phong cách của tài khoản Twitter yêu thích của bạn bằng cách tinh chỉnh mô hình GPT-2 | Boris Dayma | |
| Tối ưu hóa các mô hình 🤗 Hugging Face với Weights & Biases | Hướng dẫn hoàn chỉnh giới thiệu tích hợp W&B với Hugging Face | Boris Dayma | |
| Pretrain Longformer | Cách xây dựng phiên bản “dài” của các mô hình được huấn luyện trước có sẵn | Iz Beltagy | |
| Chỉnh huấn luyện Longformer cho QA | Cách tinh chỉnh mô hình longformer cho tác vụ QA | Suraj Patil | |
| Đánh giá Mô hình với 🤗nlp | Cách đánh giá longformer trên TriviaQA bằng nlp | Patrick von Platen | |
| Chỉnh huấn T5 cho trích xuất đoạn văn cảm xúc | Cách tinh chỉnh T5 cho việc trích xuất đoạn văn cảm xúc bằng định dạng text-to-text với PyTorch Lightning | Lorenzo Ampil | |
| Chỉnh huấn luyện DistilBert cho phân loại đa lớp | Cách tinh chỉnh DistilBert cho phân loại đa lớp với PyTorch | Abhishek Kumar Mishra | |
| Chỉnh huấn BERT cho Phân loại Nhãn nhiều | Cách tinh chỉnh BERT cho phân loại nhiều nhãn bằng PyTorch | Abhishek Kumar Mishra | |
| Chỉnh huấn T5 cho Tóm tắt | Cách tinh chỉnh T5 cho tóm tắt trong PyTorch và theo dõi các thí nghiệm với WandB | Abhishek Kumar Mishra | |
| Tăng tốc Fine-Tuning trong Transformers bằng Dynamic Padding / Bucketing | Cách tăng tốc độ tinh chỉnh lên gấp 2 lần bằng cách đệm động / phân nhóm | Michael Benesty | |
| Pretrain Reformer cho Masked Language Modeling | Cách huấn luyện một mô hình Reformer với các lớp tự chú ý hai chiều | Patrick von Platen | |
| Mở rộng và tinh chỉnh Sci-BERT | Cách tăng từ vựng của một mô hình SciBERT được huấn luyện trước từ AllenAI trên bộ dữ liệu CORD và tích hợp nó vào pipeline. | Tanmay Thakur | |
| Điều chỉnh BlenderBotSmall cho tóm tắt bằng cách sử dụng API Trainer | Cách tinh chỉnh BlenderBotSmall cho nhiệm vụ tóm tắt trên một tập dữ liệu tùy chỉnh, sử dụng API Trainer. | Tanmay Thakur | |
| Chỉnh sửa Electra và diễn giải bằng Integrated Gradients | Cách tinh chỉnh Electra cho phân tích cảm xúc và diễn giải dự đoán bằng Captum Integrated Gradients | Eliza Szczechla | |
| fine-tune một mô hình GPT-2 không phải tiếng Anh với lớp Trainer | Cách tinh chỉnh mô hình GPT-2 không phải tiếng Anh với lớp Trainer | Philipp Schmid | |
| Chỉnh huấn luyện mô hình DistilBERT cho tác vụ phân loại nhiều nhãn | Cách tinh chỉnh mô hình DistilBERT cho tác vụ phân loại nhiều nhãn | Dhaval Taunk | |
| Chỉnh huấn ALBERT cho phân loại cặp câu | Cách tinh chỉnh một mô hình ALBERT hoặc một mô hình dựa trên BERT khác cho tác vụ phân loại cặp câu | Nadir El Manouzi | |
| Chỉnh huấn luyện Roberta cho phân tích cảm xúc | Cách tinh chỉnh một mô hình Roberta cho phân tích cảm xúc | Dhaval Taunk | |
| Đánh giá các mô hình tạo câu hỏi | Mức độ chính xác của các câu trả lời cho các câu hỏi do mô hình transformer seq2seq của bạn tạo ra là bao nhiêu? | Pascal Zoleko | |
| Áp dụng BERT cho tóm tắt Encoder-Decoder trên CNN/Dailymail | Cách khởi động nóng một EncoderDecoderModel bằng checkpoint google-bert/bert-base-uncased cho tác vụ tóm tắt trên CNN/Dailymail | Patrick von Platen | |
| Áp dụng RoBERTa cho tóm tắt Encoder-Decoder trên BBC XSum | Cách khởi tạo nóng một EncoderDecoderModel dùng chung với checkpoint FacebookAI/roberta-base cho tác vụ tóm tắt trên BBC/XSum | Patrick von Platen | |
| Chỉnh huấn luyện TAPAS cho Trả lời Câu hỏi Tuần tự (SQA) | Cách tinh chỉnh TapasForQuestionAnswering với checkpoint tapas-base trên bộ dữ liệu Sequential Question Answering (SQA) | Niels Rogge | |
| Đánh giá TAPAS trên Table Fact Checking (TabFact) | Cách đánh giá một TapasForSequenceClassification đã tinh chỉnh bằng checkpoint tapas-base-finetuned-tabfact sử dụng kết hợp thư viện 🤗 datasets và 🤗 transformers | Niels Rogge | |
| Chỉnh huấn luyện mBART cho dịch thuật | Cách tinh chỉnh mBART bằng Seq2SeqTrainer cho dịch từ Hindi sang tiếng Anh | Vasudev Gupta | |
| Chỉnh huấn luyện LayoutLM trên FUNSD (một bộ dữ liệu hiểu biểu mẫu) | Cách tinh chỉnh LayoutLMForTokenClassification trên bộ dữ liệu FUNSD để trích xuất thông tin từ các tài liệu đã quét | Niels Rogge | |
| Chỉnh sửa siêu DistilGPT2 và tạo văn bản | Cách tinh chỉnh DistilGPT2 và tạo văn bản | Aakash Tripathi | |
| Chỉnh tinh LED trên tối đa 8K token | Cách tinh chỉnh LED trên pubmed để tóm tắt tầm xa | Patrick von Platen | |
| Đánh giá LED trên Arxiv | Cách đánh giá hiệu quả LED trong tóm tắt tầm xa | Patrick von Platen | |
| Chỉnh huấn luyện LayoutLM trên RVL-CDIP (một bộ dữ liệu phân loại ảnh tài liệu) | Cách tinh chỉnh LayoutLMForSequenceClassification trên bộ dữ liệu RVL-CDIP để phân loại tài liệu đã quét | Niels Rogge | |
| Giải mã CTC của Wav2Vec2 với điều chỉnh GPT2 | Cách giải mã chuỗi CTC với điều chỉnh mô hình ngôn ngữ | Eric Lam | |
| Chỉnh huấn luyện BART cho tóm tắt trong hai ngôn ngữ với lớp Trainer | Cách tinh chỉnh BART cho tóm tắt trong hai ngôn ngữ bằng lớp Trainer | Eliza Szczechla | |
| Đánh giá Big Bird trên Trivia QA | Cách đánh giá BigBird trong việc trả lời câu hỏi trên tài liệu dài với Trivia QA | Patrick von Platen | |
| Tạo chú thích video bằng Wav2Vec2 | Cách tạo phụ đề YouTube từ bất kỳ video nào bằng cách chuyển văn bản từ âm thanh với Wav2Vec | Niklas Muennighoff | |
| Chỉnh huấn luyện Vision Transformer trên CIFAR-10 bằng PyTorch Lightning | Cách tinh chỉnh Vision Transformer (ViT) trên CIFAR-10 bằng cách sử dụng HuggingFace Transformers, Datasets và PyTorch Lightning | Niels Rogge | |
| Chỉnh huấn luyện Vision Transformer trên CIFAR-10 bằng 🤗 Trainer | Cách tinh chỉnh Vision Transformer (ViT) trên CIFAR-10 bằng cách sử dụng HuggingFace Transformers, Datasets và 🤗 Trainer | Niels Rogge | |
| Đánh giá LUKE trên Open Entity, một bộ dữ liệu phân loại thực thể | Cách đánh giá LukeForEntityClassification trên bộ dữ liệu Open Entity | Ikuya Yamada | |
| Đánh giá LUKE trên TACRED, một bộ dữ liệu trích xuất quan hệ | Cách đánh giá LukeForEntityPairClassification trên bộ dữ liệu TACRED | Ikuya Yamada | |
| Đánh giá LUKE trên CoNLL-2003, một benchmark NER quan trọng | Cách đánh giá LukeForEntitySpanClassification trên bộ dữ liệu CoNLL-2003 | Ikuya Yamada | |
| Đánh giá BigBird-Pegasus trên bộ dữ liệu PubMed | Cách đánh giá BigBirdPegasusForConditionalGeneration trên bộ dữ liệu PubMed | Vasudev Gupta | |
| Phân loại cảm xúc giọng nói với Wav2Vec2 | Cách tận dụng mô hình Wav2Vec2 được huấn luyện trước cho Phân loại Cảm xúc trên bộ dữ liệu MEGA | Mehrdad Farahani | |
| Phát hiện các đối tượng trong hình ảnh bằng DETR | Cách sử dụng mô hình DetrForObjectDetection đã được huấn luyện để phát hiện các đối tượng trong một hình ảnh và trực quan hóa sự chú ý | Niels Rogge | |
| Chỉnh huấn luyện DETR trên bộ dữ liệu phát hiện đối tượng tùy chỉnh | Cách tinh chỉnh DetrForObjectDetection trên bộ dữ liệu phát hiện đối tượng tùy chỉnh | Niels Rogge | |
| Điều chỉnh T5 cho Nhận thực thể có tên | Cách tinh chỉnh T5 cho tác vụ Nhận thực thể có tên | Ogundepo Odunayo | |
| Chỉnh tinh LLM mã nguồn mở bằng QLoRA với MLflow và PEFT | Cách sử dụng QLoRA và PEFT để tinh chỉnh LLM một cách tiết kiệm bộ nhớ, đồng thời sử dụng MLflow để quản lý theo dõi thí nghiệm | Yuki Watanabe |