Uso de 🤗 Datasets

Una vez que hayas encontrado un conjunto de datos interesante en el Hugging Face Hub, puedes cargarlo usando 🤗 Datasets. Puedes hacer clic en el botón Usar este conjunto de datos para copiar el código para cargar un conjunto de datos.

Primero necesitas iniciar sesión con tu cuenta de Hugging Face, por ejemplo, usando:

hf auth login

Y luego puedes cargar un conjunto de datos desde el Hugging Face Hub usando

from datasets import load_dataset

dataset = load_dataset("username/my_dataset")

# or load the separate splits if the dataset has train/validation/test splits
train_dataset = load_dataset("username/my_dataset", split="train")
valid_dataset = load_dataset("username/my_dataset", split="validation")
test_dataset  = load_dataset("username/my_dataset", split="test")

También puedes subir conjuntos de datos al Hugging Face Hub:

my_new_dataset.push_to_hub("username/my_new_dataset")

Esto crea un repositorio de datos username/my_new_dataset que contiene tu Dataset en formato Parquet, que puedes recargar más adelante.

Para obtener más información sobre el uso de 🤗 Datasets, consulte los tutoriales y las guías de uso disponibles en la documentación de 🤗 Datasets.