Hub documentation

وحدة تحكم SQL: استعلام مجموعات بيانات Hugging Face في متصفحك

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

وحدة تحكم SQL: استعلام مجموعات بيانات Hugging Face في متصفحك

يمكنك تنفيذ استعلامات SQL على مجموعة البيانات في المتصفح باستخدام وحدة تحكم SQL. تعمل وحدة تحكم SQL بواسطة DuckDB WASM وتعمل بالكامل داخل المتصفح. يمكنك الوصول إلى وحدة تحكم SQL من Data Studio.

للمزيد من المعلومات حول وحدة تحكم SQL، راجع منشور مدونة وحدة تحكم SQL.

من خلال وحدة تحكم SQL، يمكنك:

  • نفّذ استعلامات DuckDB SQL على مجموعة البيانات (اطّلع على مقتطفات SQL للاستعلامات المفيدة)
  • شارك نتائج الاستعلام مع الآخرين عبر رابط (اطّلع على هذا المثال)
  • تنزيل نتائج الاستعلام إلى ملف Parquet أو CSV
  • تضمين نتائج الاستعلام في صفحتك الخاصة باستخدام إطار
  • استعلام مجموعات البيانات بلغة طبيعية

يمكنك أيضًا استخدام DuckDB محليًا عبر واجهة سطر الأوامر للاستعلام عن مجموعة البيانات عبر بروتوكول hf://. راجع توثيق DuckDB Datasets لمزيد من المعلومات. يوفر وحدة تحكم SQL زرًا مريحًا بعنوان Copy to DuckDB CLI يولّد استعلام SQL لإنشاء العروض وتنفيذ استعلامك في واجهة سطر أوامر DuckDB. أو نفّذ نفس الاستعلامات من طرفية أو سكربت باستخدام hf datasets sql.

أمثلة

التصفية

يُسهّل وحدة SQL تصفية مجموعات البيانات بشكل كبير. على سبيل المثال، إذا كنت ترغب في تصفية مجموعة بيانات SkunkworksAI/reasoning-0.01 للحصول على التعليمات والاستجابات التي يبلغ طول الاستدلال فيها 10 على الأقل، يمكنك استخدام الاستعلام التالي:

إليك استعلام SQL للترتيب حسب طول الاستدلال

SELECT *
FROM train
WHERE LENGTH(reasoning_chains) > 10;

المخطط التكراري

يختار العديد من مؤلفي مجموعات البيانات تضمين إحصاءات حول توزيع البيانات في المجموعة. باستخدام دالة histogram في DuckDB، يمكننا رسم مخطط توزيع (histogram) لقيم عمود معين.

على سبيل المثال، لرسم مخطط توزيع (histogram) لعمود Rating في مجموعة البيانات Lichess/chess-puzzles، يمكنك استخدام الاستعلام التالي:

تعرف على المزيد حول دالة `histogram` ومعاملاتها هنا.

from histogram(train, Rating)

المطابقة باستخدام التعبيرات النمطية

تُعدّ إحدى أقوى ميزات DuckDB هي الدعم العميق للتعبيرات النمطية. يمكنك استخدام دالة regexp لمطابقة الأنماط في بياناتك.

باستخدام دالة regexp_matches، يمكننا تصفية مجموعة بيانات GeneralReasoning/GeneralThought-195k للحصول على التعليمات التي تحتوي على كتل أكواد markdown.

تعرف على المزيد حول دوال DuckDB الخاصة بالتعابير النمطية هنا.

SELECT *
FROM train
WHERE regexp_matches(model_answer, '```')
LIMIT 10;

واجهات برمجة التطبيقات للاستعلامات والمغلفات المحفوظة

يمكنك إنشاء تضمينات وحدة تحكم SQL وتحديثها وحذفها برمجياً. التضمينات هي استعلامات محفوظة يمكن مشاركتها عبر رابط أو تضمينها في صفحات أخرى.

إنشاء تضمين:

POST /api/datasets/{namespace}/{repo}/sql-console/embed
Content-Type: application/json
Authorization: Bearer {token}

{
  "sql": "SELECT * FROM train LIMIT 10",
  "title": "Sample rows",
  "private": false,
  "views": [{"key": "default/train", "displayName": "Train", "viewName": "train"}]
}

تحديث تضمين:

PATCH /api/datasets/{namespace}/{repo}/sql-console/embed/{embed_id}
Content-Type: application/json
Authorization: Bearer {token}

{
  "sql": "SELECT * FROM train LIMIT 20",
  "title": "Updated title",
  "private": true
}

حذف تضمين:

DELETE /api/datasets/{namespace}/{repo}/sql-console/embed/{embed_id}
Authorization: Bearer {token}

كشف التسريب

تُعدّ عملية كشف التسرّب هي تحديد ما إذا كانت البيانات في مجموعة بيانات معيّنة موجودة في أكثر من تقسيم، على سبيل المثال، ما إذا كانت مجموعة الاختبار موجودة في مجموعة التدريب.

تعرف على المزيد حول كشف التسريب هنا.

WITH
    overlapping_rows AS (
        SELECT COALESCE(
            (SELECT COUNT(*) AS overlap_count
             FROM train
             INTERSECT
             SELECT COUNT(*) AS overlap_count
             FROM test),
            0
        ) AS overlap_count
    ),
    total_unique_rows AS (
        SELECT COUNT(*) AS total_count
        FROM (
            SELECT * FROM train
            UNION
            SELECT * FROM test
        ) combined
    )
SELECT
    overlap_count,
    total_count,
    CASE 
        WHEN total_count > 0 THEN (overlap_count * 100.0 / total_count)
        ELSE 0
    END AS overlap_percentage
FROM overlapping_rows, total_unique_rows;
Update on GitHub