Model ini dipublikasikan di HF papers pada 2023-01-02 dan disumbangkan ke Hugging Face Transformers pada 2023-03-14.

ConvNeXt V2

Ikhtisar

Model ConvNeXt V2 diusulkan dalam ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders oleh Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon, Saining Xie. ConvNeXt V2 adalah model konvolusional murni (ConvNet), yang terinspirasi oleh desain Vision Transformers, dan merupakan penerus dari ConvNeXT.

Abstrak dari makalah tersebut adalah sebagai berikut:

Dipicu oleh arsitektur yang lebih baik dan kerangka kerja pembelajaran representasi yang lebih baik, bidang pengenalan visual mengalami modernisasi dan peningkatan kinerja yang pesat pada awal 2020-an. Sebagai contoh, ConvNet modern, yang diwakili oleh ConvNeXt, telah menunjukkan kinerja yang kuat dalam berbagai skenario. Meskipun model-model ini awalnya dirancang untuk pembelajaran terawasi dengan label ImageNet, mereka juga berpotensi diuntungkan oleh teknik pembelajaran tanpa pengawasan seperti masked autoencoders (MAE). Namun, kami menemukan bahwa sekadar menggabungkan kedua pendekatan ini menghasilkan kinerja yang kurang baik. Dalam makalah ini, kami mengusulkan kerangka kerja masked autoencoder yang sepenuhnya konvolusional dan lapisan Global Response Normalization (GRN) baru yang dapat ditambahkan ke arsitektur ConvNeXt untuk meningkatkan kompetisi fitur antar kanal. Desain bersama antara teknik pembelajaran tanpa pengawasan dan peningkatan arsitektur ini menghasilkan keluarga model baru yang disebut ConvNeXt V2, yang secara signifikan meningkatkan kinerja ConvNet murni pada berbagai benchmark pengenalan, termasuk klasifikasi ImageNet, deteksi COCO, dan segmentasi ADE20K. Kami juga menyediakan model ConvNeXt V2 yang telah dilatih sebelumnya dalam berbagai ukuran, mulai dari model Atto yang efisien dengan 3,7 juta parameter dan akurasi top-1 76,7% pada ImageNet, hingga model Huge 650 juta parameter yang mencapai akurasi state-of-the-art 88,9% menggunakan hanya data pelatihan publik.

Model ini disumbangkan oleh adirik. Kode aslinya dapat ditemukan di sini.

Sumber daya

Daftar sumber resmi Hugging Face dan komunitas (ditandai dengan 🌎) untuk membantu Anda memulai dengan ConvNeXt V2.

• ConvNextV2ForImageClassification didukung oleh notebook ini.

Jika Anda tertarik untuk mengirimkan sumber daya agar disertakan di sini, silakan buka Pull Request dan kami akan meninjaunya! Sumber daya tersebut sebaiknya mendemonstrasikan sesuatu yang baru, bukan menduplikasi sumber daya yang sudah ada.

ConvNextV2Config

>>> from transformers import ConvNeXTV2Config, ConvNextV2Model

>>> # Initializing a ConvNeXTV2 convnextv2-tiny-1k-224 style configuration
>>> configuration = ConvNeXTV2Config()

>>> # Initializing a model (with random weights) from the convnextv2-tiny-1k-224 style configuration
>>> model = ConvNextV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ConvNextV2Model

ConvNextV2ForImageClassification

>>> from transformers import AutoImageProcessor, ConvNextV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = ConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-tiny-1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...