LLM Course

0. Установка

1. Трансформеры

2. Использование 🤗 Transformers

3. Fine-tuning предобученной модели

Введение Предобработка данных Fine-tuning модели с использованием Trainer API Полное обучение модели Fine-tuning, итоги!Тест в конце главы

4. Hugging Face Hub

5. Библиотека 🤗 Datasets

6. Бибилиотека 🤗 Tokenizers

7. Основные задачи NLP

8. Как попросить о помощи

9. Создание и распространение демо

События курса

Глоссарий

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

Тест в конце главы

Тест по результатам изучения главы 3.

Датасет emotion содержит сообщения из Твиттера, каждое сообщение помечено какой-либо эмоцией. Найдите его на Hub и изучить карточку датасета. Какая из этих эмоцией не является базовой?

Joy Love Confusion Surprise

2. Найдите датасет ar_sarcasm в Hub . Какую задачу можно решить с использованием этого датасета?

Sentiment classification / Классификация тональности Machine translation / Машинный перевод Named entity recognition / Распознавание именованных сущностей Question answering / Ответы на вопросы

3. В каком формате модель BERT ожидает на вход пару предложений?

Токены_предложения_1 [SEP] Токены_предложения_2 [CLS] Токены_предложения_1 Токены_предложения_2 [CLS] Токены_предложения_1 [SEP] Токены_предложения_2 [SEP] [CLS] Токены_предложения_1 [SEP] Токены_предложения_2

4. Какие преимущества есть у метода Dataset.map()?

Результаты функции кэшируются, поэтому повторное выполнение кода не займет много времени. Можно применить мультипроцессорную обработку – это быстрее, чем применять функцию к каждому элементу выборки. Он не загружает весь набор данных в память, сохраняя результаты сразу после обработки одного элемента.

5. Что такое dynamic padding?

Дополнение нулями каждой входной последовательности до максимальной длины, содержащейся в датасете. Дополнение нулями при создании батча до максимальной длины предложения, содержашегося в батче. Такое дополнение, при котором длина каждого предложения равна длине предыдущего предложения.

6. Какова цель функции сопоставления (collate function)?

Она проверяет, что все предложения в датасете одинаковой длины. Она соединяет вместе все элементы батча. Она обрабатывает весь датасет. Она обрезает предложения в датасете.

7. Что происходит, когда вы создаете экземпляр одного из классов AutoModelForXxx с предварительно обученной языковой моделью (например, bert-base-uncased ), которая соответствует задаче, отличной от той, для которой она была обучена?

Ничего, но будет выведено предупреждение. Последний слой модели будет заменён на слой, подходящий для текущей задачи. Последний слой модели игнорируется. Ничего, модель по-прежнему можно будет настроить на решение другой задачи.

8. Зачем нужен TrainingArguments ?

Он содержит все гиперпараметры, используемые для обучения и оценки с помощью Trainer Задает размер модели. Содержит гиперпараметры для этапа валидации модели. Он содержит гиперпараметры этапа обучения.

9. Зачем нужна библиотека 🤗 Accelerate?

Предоставляет доступ к более быстрым моделям. Предоставляет высокоуровневый API и появляется возможность не реализовывать собственный цикл обучения. Позволяет исполнить наш цикл обучения на распределенных системах. Предоставляет больше оптимизационных функций.

Update on GitHub

←Fine-tuning, итоги!

Next chapter

Тест в конце главы Датасет emotion содержит сообщения из Твиттера, каждое сообщение помечено какой-либо эмоцией. Найдите его на Hub и изучить карточку датасета. Какая из этих эмоцией не является базовой?2. Найдите датасет ar_sarcasm в Hub . Какую задачу можно решить с использованием этого датасета?3. В каком формате модель BERT ожидает на вход пару предложений?4. Какие преимущества есть у метода Dataset.map()?5. Что такое dynamic padding?6. Какова цель функции сопоставления (collate function)?7. Что происходит, когда вы создаете экземпляр одного из классов AutoModelForXxx с предварительно обученной языковой моделью (например, bert-base-uncased ), которая соответствует задаче, отличной от той, для которой она была обучена?8. Зачем нужен TrainingArguments ?9. Зачем нужна библиотека 🤗 Accelerate?4. Что происходит, когда вы создаете экземпляр одного из классов TFAutoModelForXxx с предварительно обученной языковой моделью (например, bert-base-uncased ), которая соответствует задаче, отличной от той, для которой она была обучена?5. TensorFlow-модели из transformers уже можно рассматривать как Keras-модели. Какие преимущества это дает?6. Как мы можем задать собственную метрику?