Hub documentation
Форматы файлов
Форматы файлов
Polars поддерживает следующие форматы файлов при чтении из Hugging Face:
Приведённые ниже примеры показывают только настройки по умолчанию. Используйте ссылки выше, чтобы просмотреть все доступные параметры в справочнике API.
Parquet
Parquet — предпочтительный формат файлов, так как он хранит схему с информацией о типах непосредственно в файле. Это устраняет неоднозначность при разборе и ускоряет чтение. Чтобы прочитать файл Parquet в Polars, используйте функцию read_parquet:
pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")CSV
Функция read_csv может использоваться для чтения файла CSV:
pl.read_csv("hf://datasets/lhoestq/demo1/data/train.csv")JSON
Polars поддерживает чтение нового формата JSON с разделением по строкам — также известного как json lines — с помощью функции read_ndjson:
pl.read_ndjson("hf://datasets/proj-persona/PersonaHub/persona.jsonl")