# تحميل مهام تقييم الوكيل

مجموعة بيانات [Harbor](https://harborframework.com/docs) هي مجموعة من *المهام* تُستخدم لتقييم وكلاء الذكاء الاصطناعي: حيث تمنح كل مهمة الوكيل تعليمات، وبيئة معزولة للعمل فيها، ومُتحققًا يُقيّم عمله.

على عكس مجموعات البيانات الجدولية، لا يتكوّن مجموعة بيانات Harbor من ملف يحتوي على صف واحد لكل مثال: **كل مهمة هي مجلد**. يقرأ منشئ `harbor` مستودعًا كهذا ويُخرج صفًا واحدًا لكل مهمة، بحيث يمكن استكشاف مجموعة المعايير وتصفيتها ومشاركتها مثل أي مجموعة بيانات أخرى:

```py
>>> from datasets import load_dataset
>>> dataset = load_dataset("harborframework/terminal-bench")
>>> dataset
DatasetDict({
    test: Dataset({
        features: ['name', 'instruction', 'description', 'keywords', 'schema_version', 'config', 'metadata', 'files', 'location'],
        num_rows: 66
    })
})
```

> [!TIP]
> تحميل مجموعة بيانات Harbor ي*يقرأ* المهام فقط: فهو لا يشغّل وكيلًا أبدًا، ولا يبني صورة، ولا ينفّذ مُتحقِّقًا، كما أنه لا يتطلب تثبيت Harbor. استخدم مكتبة [Harbor](https://harborframework.com/docs) لتشغيل المهام فعليًا.

> [!WARNING]
> تُعدّ تهيئة مهام Harbor ملفات بصيغة TOML. تقرأ Python 3.11 وما بعدها هذه الملفات باستخدام مكتبة النظام القياسية (`tomllib`)؛ أما في Python 3.10، فيجب عليك تثبيت محلل TOML كاعتماد إضافي. اطّلع على دليل [التثبيت](./installation#harbor) لمعرفة كيفية تثبيته.

## هيكل المستودع

يُعرَّف دليل المهمة بملفين هما `task.toml` و`instruction.md`، وغالبًا ما يحتوي أيضًا على تعريف البيئة، والمُتحقِّق، وحلّ مرجعي:

```text
my-harbor-dataset/
├── README.md
└── tasks/
    ├── task-a/
    │   ├── task.toml          # configuration: metadata, resources, timeouts...
    │   ├── instruction.md     # what the agent is asked to do
    │   ├── README.md          # optional human-readable description
    │   ├── environment/       # Dockerfile / docker-compose.yaml + files of the sandbox
    │   ├── tests/             # verifier
    │   └── solution/          # oracle solution
    └── task-b/
        └── ...
```

يُعرَّف المجلد كمجموعة بيانات Harbor بمجرد أن يكون أحد مجلداته الفرعية، مهما كان عمقه، مجلد مهمة (ملف `task.toml` وملف `instruction.md` جنبًا إلى جنب): حيث تُكتشف المهام تلقائيًا دون الحاجة إلى سرد أي ملف.

## تحميل المهام

بما أن مجموعات بيانات Harbor تتكون من مجلدات بدلاً من ملفات البيانات، يتم تحميلها عبر *المسار* — دون استخدام معامل `data_files`:

```py
>>> from datasets import load_dataset

>>> # a dataset repository on the Hub
>>> dataset = load_dataset("harborframework/terminal-bench")
>>> # a local directory of tasks
>>> dataset = load_dataset("/path/to/my-harbor-dataset")
>>> # the tasks of a repository that are in a sub-directory
>>> dataset = load_dataset("harborframework/terminal-bench", data_dir="tasks")
```

يُؤيَّد أيضًا تمرير `data_files` بشكل صريح، طالما أن النمط يتضمن ملفي `task.toml` و`instruction.md` — كل زوج من الملفات المطابقة يعطي صفًا واحدًا:

```py
>>> dataset = load_dataset(
...     "/path/to/my-harbor-dataset",
...     data_files={"test": ["my-tasks-dir/*/task.toml", "my-tasks-dir/*/instruction.md"]},
... )
```

## الأعمدة

تصف كل صف مهمة واحدة:

| عمود | النوع | الوصف |
|--------|------|-------------|
| `name` | `string` | `[task].name` الخاص بـ `task.toml` (عادةً `org/name`)، أو اسم مجلد المهمة. |
| `description` | `string` | `[task].description` في `task.toml`. |
| `instruction` | `string` | محتويات `instruction.md`: ما يجب على الوكيل القيام به. |
| `keywords` | `list` من `string` | `[task].keywords` في `task.toml`. |
| `schema_version` | `string` | `schema_version` المُعلَن في `task.toml`. |
| `config` | `dict` | ملف `task.toml` بالكامل، ككائن JSON: `[task]`، `[metadata]`، `[verifier]`، `[agent]`، `[environment]`، `[steps]`... |
| `metadata` | `dict` | القسم الحر `[metadata]` في `task.toml`. |
| `files` | `list` من `string` | جميع ملفات المهمة، مع مسارات نسبية بالنسبة إلى مجلد المهمة. |
| `location` | `string` | موقع مجلد المهمة في مجموعة البيانات. |

```py
>>> dataset = load_dataset("harborframework/terminal-bench", split="test")
>>> dataset[0]["name"]
'terminal-bench/atrx-vep-crispr'
>>> dataset[0]["instruction"][:90]
'You are provided with a region of genomic DNA representing the human ATRX locus plus sequence'
>>> dataset[0]["config"]["task"]["authors"]
[{'name': 'ScaleAI', 'email': 'tbench@scale.com'}]
>>> dataset[0]["metadata"]["category"]
'Science'
>>> dataset[0]["config"]["environment"]
{'build_timeout_sec': 1800.0, 'cpus': 2, 'memory_mb': 4096, 'storage_mb': 10240, 'gpus': 0}
>>> dataset[0]["files"][:4]
['LICENSE.md', 'README.md', 'environment/Dockerfile', 'environment/data/CDS-information.txt']
>>> dataset[0]["location"]
'tasks/atrx-vep-crispr'
```

يتوفر ملف `task.toml` بالكامل في `config`، لذا لا يُفقد أي شيء عندما يستخدم المهمة حقولاً غير مُرقّاة إلى عمود خاص بها:

```py
>>> dataset = dataset.map(lambda task: {"timeout_min": task["config"]["verifier"]["timeout_sec"] / 60})
>>> sorted(set(dataset["timeout_min"]))[:6]
[1.0, 2.0, 3.0, 4.0, 5.0, 7.0]
```

## تصفية معيار

بما أن بيانات الوصف الخاصة بالمهمة تُحمَّل كقاموس، يمكن استكشاف المعيار باستخدام طريقتي [filter()](/docs/datasets/main/ar/package_reference/main_classes#datasets.Dataset.filter) و[map()](/docs/datasets/main/ar/package_reference/main_classes#datasets.Dataset.map) المعتادتين:

```py
>>> security_tasks = dataset.filter(lambda task: task["metadata"].get("category") == "Security")
>>> [task["name"] for task in security_tasks]
['terminal-bench/formal-crypto', 'terminal-bench/html-js-filter', 'terminal-bench/interleaved-vigenere', 'terminal-bench/shadow-relay', 'terminal-bench/uefi-bootkit']
```

تُدرج عمود `files` كل ما تتضمنه المهمة، وهو مفيد للاطلاع على كيفية التحقق من صحة المهمة:

```py
>>> pytest_verifiers = dataset.filter(lambda task: any(f.startswith("tests/") and f.endswith(".py") for f in task["files"]))
>>> pytest_verifiers.num_rows
63
```

## اقرأ ملفات المهمة الأخرى

يتم تحميل التعليمات وإعدادات المهمة فقط كعمودين: تُدرج ملفات البيئة والمُتحقِّق والحل في عمود `files` كمسارات نسبية لمجلد المهمة. اجمع بين `task_id` و`files` لفتح أيٍّ منها باستخدام `fsspec`:

```py
>>> from huggingface_hub import hffs
>>> dataset_path = "hf://datasets/harborframework/terminal-bench"
>>> with hffs.open(f"{dataset_path}/tasks/cumulative-layout-shift/environment/Dockerfile", "r") as f:
...     print(f.read()[:20])
'# harbor-canary GUID
```

## الإعداد

يقبل [HarborConfig](/docs/datasets/main/ar/package_reference/loading_methods#datasets.packaged_modules.harbor.HarborConfig) بعض الحُجج الإضافية إلى جانب حُجج `load_dataset` المعتادة:

- `strip_canary` (الافتراضي `True`): إزالة أسطر التعليقات الافتتاحية "canary لبيانات المعيار" من التعليمات، بالطريقة نفسها التي يتبعها Harbor عند إرسالها إلى الوكيل. اضبطه على `False` للإبقاء على محتويات الملف الأصلية.
- `include_files` (الافتراضي `True`): تُدرج جميع ملفات كل مهمة في عمود `files`. اضبطها على `False` لتخطي إدراج مديريات المهام، وهو أسرع عندما يكون مجموعة البيانات على نظام ملفات عن بُعد أو يحتوي على آلاف الملفات لكل مهمة.

يمكن أيضًا بث المهام، مما يتجنب تنزيل المعيار الكامل مسبقًا:

```py
>>> from datasets import load_dataset
>>> dataset = load_dataset("harborframework/terminal-bench", streaming=True)
>>> for task in dataset["test"]:
...     print(task["name"])
```

## انظر أيضاً

- التوثيق المرجعي لـ [Harbor](/docs/datasets/main/ar/package_reference/loading_methods#datasets.packaged_modules.harbor.Harbor) و [HarborConfig](/docs/datasets/main/ar/package_reference/loading_methods#datasets.packaged_modules.harbor.HarborConfig).
- وثائق [Harbor](https://harborframework.com/docs) لـ *تشغيل* مهام اختبار معياري باستخدام الوكلاء والمُتحقّقين.

