데이터 파일 구성

데이터셋 저장소의 구조를 구성하는 방식에 대한 제약은 없습니다.

하지만 Dataset Viewer에서 특정 데이터 파일을 표시하거나 데이터셋을 train/validation/test 스플릿으로 분리하려면 데이터셋을 그에 맞게 구조화해야 합니다. 대부분은 데이터 파일 이름을 스플릿 이름에 맞게 지정하는 것만으로 충분합니다. 예를 들어 train.csv와 test.csv처럼요.

스플릿과 서브셋이란 무엇인가요?

머신러닝 데이터셋에는 일반적으로 스플릿이 있으며 서브셋도 포함될 수 있습니다. 데이터셋은 일반적으로 모델의 학습 및 평가 단계별로 사용되는 스플릿(예: train과 test)으로 구성됩니다. 서브셋(구성이라고도 함)은 더 큰 데이터셋 안에 포함된 하위 데이터셋입니다. 서브셋은 각 언어마다 별도의 서브셋이 존재할 수 있는 다국어 음성 데이터셋에서 특히 흔합니다. 스플릿과 서브셋에 대해 더 자세히 알고 싶다면 Splits and subsets 가이드를 확인해 보세요!

자동 분할 감지

Splits는 파일 및 디렉터리 이름에 기반하여 자동으로 감지됩니다. 예를 들어, 아래는 train, test, validation splits가 있는 데이터셋입니다:

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

데이터 파일이나 디렉터리를 스플릿 이름에 따라 명명하여 데이터셋을 구조화하는 방법에 대해서는 파일 이름과 스플릿 문서 및 예제 데이터셋 동반 컬렉션을 참고하세요.

수동으로 분할 및 부분 집합 구성

YAML을 사용하여 데이터셋의 Dataset Viewer에 표시할 데이터 파일을 선택할 수 있습니다. 수동으로 어떤 파일이 어떤 split에 포함될지 지정하려는 경우 유용합니다.

데이터셋에 여러 하위 집합을 정의하고, 데이터셋 빌딩 매개변수(예: CSV 파일에 사용할 구분자)를 전달할 수도 있습니다.

test 분할을 가진 “benchmark”이라는 부분 집합을 정의하는 구성의 예입니다.

configs:
- config_name: benchmark
  data_files:
  - split: test
    path: benchmark.csv

자세한 내용은 수동 구성 문서를 참고하세요. 또한 예제 데이터셋도 확인해 보세요.

지원되는 파일 형식

지원되는 형식의 목록과 데이터셋에 대한 권장 사항을 확인하려면 File formats 문서 페이지를 참조하세요. 데이터셋에 CSV 또는 TSV 파일을 사용하는 경우 example datasets에서 더 많은 정보를 찾을 수 있습니다.

Dataset Viewer 크기 제한 오류 (TooBigContentError)

Error code: TooBigContentError가 표시되면 데이터셋 뷰어가 제한 범위 내에서 미리보기를 읽지 못한 것입니다. 일반적인 메시지에는 Parquet error: Scan size limit exceeded와 The size of the content of the first rows exceeds the maximum supported size가 있습니다.

실현할 수 있는 것:

• Parquet 파일의 경우, 더 작은 row group을 사용하고 페이지 인덱스(write_page_index=True)를 포함하여 Viewer가 필요한 부분만 읽을 수 있도록 하세요.
• 첫 번째 행에 매우 큰 값(매우 긴 문자열, 큰 JSON 블록, base64 페이로드)을 포함하지 마세요. 가능한 경우 큰 페이로드는 별도의 파일로 이동하세요.
• 매우 큰 파일은 더 작은 샤드나 스플릿으로 나눈 후 다시 업로드하세요.
• 문제가 계속되면 Configure the Dataset Viewer를 검토하고, 전체 오류 텍스트를 포함하여 데이터셋 페이지에서 토론을 시작하세요.

이미지, 오디오 및 비디오 데이터셋

이미지/오디오/비디오 분류 데이터셋의 경우, 디렉터리를 사용하여 이미지/오디오/비디오 클래스를 이름으로 지정할 수도 있습니다. 그리고 이미지/오디오/비디오 파일에 메타데이터(예: 캡션, 바운딩 박스, 전사 텍스트 등)가 있는 경우, 해당 파일 옆에 메타데이터 파일을 둘 수 있습니다.

두 가지 가이드를 제공합니다:

• 이미지 데이터셋 만들기 (예시 데이터셋)
• 오디오 데이터셋 생성 방법 (예시 데이터셋)
• 비디오 데이터셋 만들기