Hub

Data Designer

Data Designer es el marco de trabajo de NVIDIA NeMo para generar conjuntos de datos sintéticos de alta calidad mediante LLM. Permite crear datos diversos utilizando muestreadores estadísticos, LLM o conjuntos de datos semilla existentes.

Prerrequisitos

pip install data-designer

Descarga conjuntos de datos del Hub como semillas

Use HuggingFaceSeedSource para cargar conjuntos de datos directamente desde el Hub como datos semilla para la generación.

import data_designer.config as dd
from data_designer.interface import DataDesigner

data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()

# Load seed data from HuggingFace
seed_source = dd.HuggingFaceSeedSource(
    path="datasets/gretelai/symptom_to_diagnosis/data/train.parquet",
    token="hf_...",  # Optional, for private datasets
)
config_builder.with_seed_dataset(seed_source)

# Reference seed columns in prompts
config_builder.add_column(
    dd.LLMTextColumnConfig(
        name="physician_notes",
        model_alias="openai-gpt-5",
        prompt="Write notes for a patient with {{ diagnosis }}. Symptoms: {{ patient_summary }}",
    )
)

preview = data_designer.preview(config_builder, num_records=5)

Subir conjuntos de datos generados al Hub

Use el método integrado push_to_hub para subir los datos generados al Hub.

# Generate dataset
results = data_designer.create(config_builder, num_records=1000, dataset_name="my-dataset")

# Push to Hub
url = results.push_to_hub(
    repo_id="username/my-synthetic-dataset",
    description="Synthetic dataset generated with Data Designer.",
    tags=["medical", "notes"],
    private=False,
)

Recursos

Update on GitHub