# Опубликовать набор данных в Hub

[Hub](https://huggingface.co/datasets) содержит обширную коллекцию популярных исследовательских датасетов, отобранных сообществом. Мы рекомендуем делиться своими датасетами на Hub, чтобы помогать развитию ML-сообщества и ускорять прогресс для всех. Мы приветствуем любые вклады; добавление датасета — это просто перетаскивание и сброс!

Для начала [создайте аккаунт Hugging Face Hub](https://huggingface.co/join), если у вас его еще нет.

## Загрузка с помощью интерфейса Hub

Веб-интерфейс Hub позволяет пользователям без опыта разработки загружать набор данных.

### Создать репозиторий

Репозиторий хранит все файлы вашего набора данных, включая историю ревизий, что позволяет сохранять несколько версий набора данных.

1. Нажмите на свой профиль и выберите **New Dataset**, чтобы создать новый репозиторий датасета.
2. Придумайте название для набора данных и определите, будет ли он публичным или частным. Публичный набор данных виден всем, а частный доступен только вам или членам вашей организации.

    

### Загрузить набор данных

1. После создания репозитория перейдите на вкладку **Файлы и версии**, чтобы добавить файл. Выберите **Добавить файл**, чтобы загрузить файлы набора данных. Мы поддерживаем множество расширений для текстовых, аудиоданных и изображений, таких как `.csv`, `.mp3` и `.jpg`, среди прочих. Для текстовых данных с расширениями `.csv`, `.json`, `.jsonl` и `.txt` мы рекомендуем сжимать их перед загрузкой в Hub (например, в файл с расширением `.zip` или `.gz`).

    Расширения текстовых файлов по умолчанию не отслеживаются Git LFS, и если их размер превышает 10 МБ, они не будут закоммичены и загружены. Полный список отслеживаемых расширений файлов можно найти в файле `.gitattributes` вашего репозитория. Для этого учебника можно использовать следующие примеры файлов `.csv`, так как они небольшие: train.csv, test.csv.

    

2. Перетащите файлы набора данных и добавьте краткое описательное сообщение коммита.

    

3. После загрузки файлов набора данных они сохраняются в вашем репозитории набора данных.

    

### Создание карточки набора данных

Добавление карточки датасета имеет огромную ценность, так как помогает пользователям находить ваш датасет и понимать, как использовать его ответственно.

1. Нажмите **Create Dataset Card**, чтобы создать карточку набора данных. Эта кнопка создаёт файл `README.md` в вашем репозитории.

    

2. Вверху вы увидите **Metadata UI** с несколькими полями для выбора, такими как лицензия, язык и категории задач. Это самые важные теги, помогающие пользователям находить ваш датасет на Hub. Когда вы выбираете вариант в каждом поле, он автоматически добавляется в верхнюю часть карточки датасета.

    Вы также можете обратиться к [спецификациям Dataset Card](https://github.com/huggingface/hub-docs/blob/main/datasetcard.md?plain=1), где приведён полный набор (необязательных) вариантов тегов, таких как `annotations_creators`, чтобы помочь вам выбрать подходящие теги.

    

3. Нажмите на ссылку **Import dataset card template** вверху редактора, чтобы автоматически создать шаблон карточки набора данных. Заполнение шаблона — отличный способ представить ваш набор данных сообществу и помочь пользователям понять, как его использовать. Подробный пример того, как должна выглядеть хорошая карточка набора данных, можно найти в [CNN DailyMail Dataset card](https://huggingface.co/datasets/cnn_dailymail).

### Загрузка набора данных

После того как ваш набор данных сохранён на Hub, любой может загрузить его с помощью функции [load_dataset()](/docs/datasets/v5.2.0/ru/package_reference/loading_methods#datasets.load_dataset):

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
```

## Загрузка с помощью Python

Пользователи, предпочитающие загружать датасеты программно, могут использовать библиотеку [huggingface_hub](https://huggingface.co/docs/huggingface_hub/index). Эта библиотека позволяет взаимодействовать с Hub из Python.

1. Начните с установки библиотеки:

```bash
pip install huggingface_hub
```

2. Чтобы загрузить набор данных на Hub в Python, необходимо войти в свой аккаунт Hugging Face:

```bash
hf auth login
```

3. Используйте функцию [`push_to_hub()`](https://huggingface.co/docs/datasets/main/en/package_reference/main_classes#datasets.DatasetDict.push_to_hub), чтобы добавить, закоммитить и отправить файл в ваш репозиторий:

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")
```

Чтобы сделать набор данных приватным, установите параметр `private` в значение `True`. Этот параметр будет работать только при создании репозитория впервые.

```py
>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)
```

Чтобы добавить новую конфигурацию (или подмножество) в набор данных или новый сплит (train/validation/test), обратитесь к документации [Dataset.push_to_hub()](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.Dataset.push_to_hub).

### Конфиденциальность

Приватный набор данных доступен только вам. Аналогично, если вы поделитесь набором данных в рамках своей организации, то его смогут получить и другие участники организации.

Загрузите приватный набор данных, передав ваш токен аутентификации в параметр `token`:

```py
>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)
```

## Что дальше?

Поздравляем, вы прошли все учебные материалы! 🥳

Отсюда вы можете перейти к:

- Подробнее о том, как использовать другие функции 🤗 Datasets для [обработки набора данных](process).
- [Потоковая обработка больших наборов данных](stream) без их локального скачивания.
- [Определите разбиения и конфигурации набора данных](repository_structure) и поделитесь им с сообществом.

Если у вас есть вопросы о 🤗 Datasets, присоединяйтесь к сообществу на нашем [форуме](/static-proxy?url=https%3A%2F%2Fdiscuss.huggingface.co%2Fc%2Fdatasets%2F10) и задавайте их.

