Hub

API docs

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Atlas Embedding

Embedding Atlas adalah alat visualisasi interaktif untuk menjelajahi ruang embedding berskala besar. Alat ini memungkinkan Anda memvisualisasikan, menyaring silang, dan mencari embedding beserta metadata terkait, sehingga membantu Anda memahami pola dan hubungan dalam data berdimensi tinggi. Seluruh komputasi terjadi di komputer Anda, sehingga memastikan data Anda tetap privat dan aman.

Berikut adalah contoh atlas untuk dataset MegaScience yang dihosting sebagai Static Space:

Fitur Utama

Penjelajahan interaktif: Navigasi melalui jutaan embedding dengan visualisasi yang halus dan responsif
Perhitungan berbasis browser: Hitung embedding dan proyeksi secara lokal tanpa mengirim data ke server eksternal
Penyaringan silang: Hubungkan dan saring data di antara beberapa kolom metadata
Kemampuan pencarian: Temukan titik data yang serupa dengan kueri atau item yang ada
Beberapa opsi integrasi: Gunakan melalui baris perintah, widget Jupyter, atau antarmuka web

Prasyarat

Pertama, instal Embedding Atlas:

pip install embedding-atlas

Jika Anda berencana memuat dataset privat dari Hugging Face Hub, Anda juga perlu login dengan akun Hugging Face Anda:

hf auth login

Memuat Dataset dari Hub

Embedding Atlas menyediakan integrasi mulus dengan Hugging Face Hub, memungkinkan Anda memvisualisasikan embedding dari dataset mana pun secara langsung.

Menggunakan Baris Perintah

Cara termudah untuk memvisualisasikan dataset Hugging Face adalah melalui antarmuka baris perintah. Cobalah dengan dataset IMDB:

# Load the IMDB dataset from the Hub
embedding-atlas stanfordnlp/imdb

# Specify the text column for embedding computation
embedding-atlas stanfordnlp/imdb --text "text"

# Load only a sample for faster exploration
embedding-atlas stanfordnlp/imdb --text "text" --sample 5000

Untuk dataset Anda sendiri, gunakan pola yang sama:

# Load your dataset from the Hub
embedding-atlas username/dataset-name

# Load multiple splits
embedding-atlas username/dataset-name --split train --split test

# Specify custom text column
embedding-atlas username/dataset-name --text "content"

Menggunakan Python dan Jupyter

Anda juga dapat menggunakan Embedding Atlas di notebook Jupyter untuk eksplorasi interaktif:

from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd

# Load the IMDB dataset from Hugging Face Hub
dataset = load_dataset("stanfordnlp/imdb", split="train[:5000]")

# Convert to pandas DataFrame
df = dataset.to_pandas()

# Create interactive widget
widget = EmbeddingAtlasWidget(df)
widget

Untuk dataset Anda sendiri:

from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd

# Load your dataset from the Hub
dataset = load_dataset("username/dataset-name", split="train")
df = dataset.to_pandas()

# Create interactive widget
widget = EmbeddingAtlasWidget(df)
widget

Bekerja dengan Embedding yang Sudah Dihitung

Jika Anda memiliki dataset dengan embedding yang sudah dihitung sebelumnya, Anda dapat memuatnya secara langsung:

# Load dataset with pre-computed coordinates
embedding-atlas username/dataset-name \
    --x "embedding_x" \
    --y "embedding_y"

# Load with pre-computed nearest neighbors
embedding-atlas username/dataset-name \
    --neighbors "neighbors_column"

Menyesuaikan Embeddings

Embedding Atlas menggunakan SentenceTransformers secara default tetapi mendukung model embedding kustom:

# Use a specific embedding model
embedding-atlas stanfordnlp/imdb \
    --text "text" \
    --model "sentence-transformers/all-MiniLM-L6-v2"

# For models requiring remote code execution
embedding-atlas username/dataset-name \
    --model "custom/model" \
    --trust-remote-code

Parameter Proyeksi UMAP

Sesuaikan pengurangan dimensi untuk kasus penggunaan spesifik Anda:

embedding-atlas stanfordnlp/imdb \
    --text "text" \
    --umap-n-neighbors 30 \
    --umap-min-dist 0.1 \
    --umap-metric "cosine"

Kasus Penggunaan

Menjelajahi Dataset Teks

Visualisasikan dan jelajahi korpus teks untuk mengidentifikasi klaster, nilai ekstrem, dan pola:

from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd

# Load a text classification dataset
dataset = load_dataset("stanfordnlp/imdb", split="train[:5000]")
df = dataset.to_pandas()

# Visualize with metadata
widget = EmbeddingAtlasWidget(df)
widget

Sumber Daya Tambahan

Update on GitHub

←Lakukan pencarian kemiripan vektor fenic→