Hub documentation
Formatos de arquivo
Formatos de arquivo
O Polars suporta os seguintes formatos de arquivo ao ler do Hugging Face:
Os exemplos abaixo mostram apenas as configurações padrão. Use os links acima para visualizar todos os parâmetros disponíveis no guia de referência da API.
Parquet
Parquet é o formato de arquivo preferencial, pois armazena o esquema com informações de tipo dentro do arquivo. Isso evita qualquer ambiguidade na análise e acelera a leitura. Para ler um arquivo Parquet no Polars, use a função read_parquet:
pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")CSV
A função read_csv pode ser usada para ler um arquivo CSV:
pl.read_csv("hf://datasets/lhoestq/demo1/data/train.csv")JSON
O Polars suporta a leitura de JSON delimitado por nova linha — também conhecido como json lines — com a função read_ndjson:
pl.read_ndjson("hf://datasets/proj-persona/PersonaHub/persona.jsonl")