Hub documentation
وحدة تحكم SQL: استعلام مجموعات بيانات Hugging Face في متصفحك
وحدة تحكم SQL: استعلام مجموعات بيانات Hugging Face في متصفحك
يمكنك تنفيذ استعلامات SQL على مجموعة البيانات في المتصفح باستخدام وحدة تحكم SQL. تعمل وحدة تحكم SQL بواسطة DuckDB WASM وتعمل بالكامل داخل المتصفح. يمكنك الوصول إلى وحدة تحكم SQL من Data Studio.

للمزيد من المعلومات حول وحدة تحكم SQL، راجع منشور مدونة وحدة تحكم SQL.
من خلال وحدة تحكم SQL، يمكنك:
- نفّذ استعلامات DuckDB SQL على مجموعة البيانات (اطّلع على مقتطفات SQL للاستعلامات المفيدة)
- شارك نتائج الاستعلام مع الآخرين عبر رابط (اطّلع على هذا المثال)
- تنزيل نتائج الاستعلام إلى ملف Parquet أو CSV
- تضمين نتائج الاستعلام في صفحتك الخاصة باستخدام إطار
- استعلام مجموعات البيانات بلغة طبيعية
يمكنك أيضًا استخدام DuckDB محليًا عبر واجهة سطر الأوامر للاستعلام عن مجموعة البيانات عبر بروتوكول
hf://. راجع توثيق DuckDB Datasets لمزيد من المعلومات. يوفر وحدة تحكم SQL زرًا مريحًا بعنوانCopy to DuckDB CLIيولّد استعلام SQL لإنشاء العروض وتنفيذ استعلامك في واجهة سطر أوامر DuckDB. أو نفّذ نفس الاستعلامات من طرفية أو سكربت باستخدامhf datasets sql.
أمثلة
التصفية
يُسهّل وحدة SQL تصفية مجموعات البيانات بشكل كبير. على سبيل المثال، إذا كنت ترغب في تصفية مجموعة بيانات SkunkworksAI/reasoning-0.01 للحصول على التعليمات والاستجابات التي يبلغ طول الاستدلال فيها 10 على الأقل، يمكنك استخدام الاستعلام التالي:

إليك استعلام SQL للترتيب حسب طول الاستدلال
SELECT *
FROM train
WHERE LENGTH(reasoning_chains) > 10;المخطط التكراري
يختار العديد من مؤلفي مجموعات البيانات تضمين إحصاءات حول توزيع البيانات في المجموعة. باستخدام دالة histogram في DuckDB، يمكننا رسم مخطط توزيع (histogram) لقيم عمود معين.
على سبيل المثال، لرسم مخطط توزيع (histogram) لعمود Rating في مجموعة البيانات Lichess/chess-puzzles، يمكنك استخدام الاستعلام التالي:

تعرف على المزيد حول دالة `histogram` ومعاملاتها هنا.
from histogram(train, Rating)المطابقة باستخدام التعبيرات النمطية
تُعدّ إحدى أقوى ميزات DuckDB هي الدعم العميق للتعبيرات النمطية. يمكنك استخدام دالة regexp لمطابقة الأنماط في بياناتك.
باستخدام دالة regexp_matches، يمكننا تصفية مجموعة بيانات GeneralReasoning/GeneralThought-195k للحصول على التعليمات التي تحتوي على كتل أكواد markdown.

تعرف على المزيد حول دوال DuckDB الخاصة بالتعابير النمطية هنا.
SELECT *
FROM train
WHERE regexp_matches(model_answer, '```')
LIMIT 10;واجهات برمجة التطبيقات للاستعلامات والمغلفات المحفوظة
يمكنك إنشاء تضمينات وحدة تحكم SQL وتحديثها وحذفها برمجياً. التضمينات هي استعلامات محفوظة يمكن مشاركتها عبر رابط أو تضمينها في صفحات أخرى.
إنشاء تضمين:
POST /api/datasets/{namespace}/{repo}/sql-console/embed
Content-Type: application/json
Authorization: Bearer {token}
{
"sql": "SELECT * FROM train LIMIT 10",
"title": "Sample rows",
"private": false,
"views": [{"key": "default/train", "displayName": "Train", "viewName": "train"}]
}تحديث تضمين:
PATCH /api/datasets/{namespace}/{repo}/sql-console/embed/{embed_id}
Content-Type: application/json
Authorization: Bearer {token}
{
"sql": "SELECT * FROM train LIMIT 20",
"title": "Updated title",
"private": true
}حذف تضمين:
DELETE /api/datasets/{namespace}/{repo}/sql-console/embed/{embed_id}
Authorization: Bearer {token}كشف التسريب
تُعدّ عملية كشف التسرّب هي تحديد ما إذا كانت البيانات في مجموعة بيانات معيّنة موجودة في أكثر من تقسيم، على سبيل المثال، ما إذا كانت مجموعة الاختبار موجودة في مجموعة التدريب.

تعرف على المزيد حول كشف التسريب هنا.
WITH
overlapping_rows AS (
SELECT COALESCE(
(SELECT COUNT(*) AS overlap_count
FROM train
INTERSECT
SELECT COUNT(*) AS overlap_count
FROM test),
0
) AS overlap_count
),
total_unique_rows AS (
SELECT COUNT(*) AS total_count
FROM (
SELECT * FROM train
UNION
SELECT * FROM test
) combined
)
SELECT
overlap_count,
total_count,
CASE
WHEN total_count > 0 THEN (overlap_count * 100.0 / total_count)
ELSE 0
END AS overlap_percentage
FROM overlapping_rows, total_unique_rows;