Логирование

🤗 Transformers имеет централизованную систему журналирования, что позволяет легко настроить уровень детализации библиотеки.

В настоящее время уровень детализации библиотеки по умолчанию составляет WARNING.

Чтобы изменить уровень детализации, используйте один из прямых сеттеров. Например, вот как изменить уровень детализации на INFO.

import transformers

transformers.logging.set_verbosity_info()

Вы также можете использовать переменную окружения TRANSFORMERS_VERBOSITY, чтобы переопределить уровень детализации по умолчанию. Вы можете установить одно из следующих значений: debug, info, warning, error, critical, fatal. Например:

TRANSFORMERS_VERBOSITY=error ./myprogram.py

Кроме того, некоторые warnings можно отключить, установив переменную окружения TRANSFORMERS_NO_ADVISORY_WARNINGS в истинное значение, например 1. Это отключит все предупреждения, записываемые с помощью logger.warning_advice. Например:

TRANSFORMERS_NO_ADVISORY_WARNINGS=1 ./myprogram.py

Вот пример того, как использовать тот же логгер, что и библиотека, в собственном модуле или скрипте:

from transformers.utils import logging

logging.set_verbosity_info()
logger = logging.get_logger("transformers")
logger.info("INFO")
logger.warning("WARN")

Все методы этого модуля журналирования описаны ниже. Основные из них — logging.get_verbosity() для получения текущего уровня детализации в логгере и logging.set_verbosity() для установки уровня детализации по вашему выбору. В порядке от наименее детализированного к наиболее детализированному эти уровни (с соответствующими целочисленными значениями в скобках) следующие:

• transformers.logging.CRITICAL или transformers.logging.FATAL (целое значение, 50): сообщать только о наиболее критических ошибках.
• transformers.logging.ERROR (int value, 40): сообщать только об ошибках.
• transformers.logging.WARNING или transformers.logging.WARN (целое значение, 30): сообщает только об ошибках и предупреждениях. Это уровень по умолчанию, используемый библиотекой.
• transformers.logging.INFO (целое значение, 20): сообщает об ошибках, предупреждениях и базовой информации.
• transformers.logging.DEBUG (целое значение, 10): выводить всю информацию.

По умолчанию во время загрузки модели отображаются индикаторы прогресса tqdm. Функции logging.disable_progress_bar() и logging.enable_progress_bar() позволяют отключить или включить это поведение.

logging и warnings

В Python есть две системы журналирования, которые часто используются вместе: logging, описанная выше, и warnings, которая позволяет дополнительно классифицировать предупреждения по конкретным категориям, например, FutureWarning для функции или пути, которые уже устарели, и DeprecationWarning для указания на предстоящее устаревание.

Мы используем оба в библиотеке transformers. Мы используем и адаптируем метод captureWarnings модуля logging, чтобы позволить управлять этими предупреждающими сообщениями с помощью описанных выше установщиков уровня детализации.

Что это значит для разработчиков библиотеки? Мы должны соблюдать следующие эвристики:

• warnings следует предпочитать разработчикам библиотеки и библиотек, зависящих от transformers
• logging следует использовать конечным пользователям библиотеки, применяющим её в повседневных проектах

См. справочную информацию по методу captureWarnings ниже.

Базовые сеттеры

Другие функции

    [LEVELNAME|FILENAME|LINE NUMBER] TIME >> MESSAGE