# Data Studio

각 데이터셋 페이지에는 데이터셋의 내용이 100행씩 페이지로 나뉘어 표로 표시됩니다. 표 하단의 버튼을 사용하여 페이지를 이동할 수 있습니다.

## 데이터 분포 검사

열의 상단에는 해당 데이터의 분포를 나타내는 그래프를 볼 수 있습니다. 이를 통해 클래스의 균형 상태, 수치형 데이터의 범위와 분포, 텍스트의 길이, 그리고 열 데이터 중 누락된 부분의 비율을 빠르게 파악할 수 있습니다.

## 값으로 필터링

숫자 열의 히스토그램 막대를 클릭하면 데이터셋 뷰어가 데이터를 필터링하여 선택된 범위에 해당하는 값이 포함된 행만 표시합니다. 마찬가지로 범주형 열에서 하나의 클래스를 선택하면 선택된 범주에 속하는 행만 표시됩니다.

## 데이터셋에서 단어 검색

테이블 상단의 검색창에 단어를 입력하여 데이터셋에서 검색할 수 있습니다. 검색은 대소문자를 구분하지 않으며, 해당 단어가 포함된 모든 행을 일치시킵니다. 값이 사전이나 리스트에 중첩되어 있더라도 `string` 열의 텍스트에서 검색됩니다.

## 데이터셋에서 SQL 쿼리를 실행

SQL Console를 사용하여 브라우저에서 데이터셋에 대해 SQL 쿼리를 실행할 수 있습니다. 이 기능은 또한 [Parquet 자동 변환](data-studio#access-the-parquet-files)을 활용합니다.

자세한 내용은 [SQL Console](./datasets-viewer-sql-console) 가이드를 참고하세요. [`hf datasets sql`](/docs/huggingface_hub/package_reference/cli#hf-datasets-sql) 또는 [DuckDB](./datasets-duckdb)를 통해 명령줄에서 동일한 DuckDB SQL 쿼리를 실행할 수 있습니다.

## 특정 행 공유

행을 클릭한 다음 브라우저 주소창의 URL을 복사하여 특정 행을 공유할 수 있습니다. 예를 들어 https://huggingface.co/datasets/nyu-mll/glue/viewer/mrpc/test?p=2&row=241은 MRPC 데이터셋의 test split에서 241번째 행을 dataset studio에서 엽니다.

## Agent 추적

Claude Code, Codex, Pi와 같은 도구에서 생성한 원시 JSONL 트레이스를 데이터셋으로 업로드하여 Data Studio에서 탐색하거나, [Storage Bucket](./storage-buckets)에 동기화하여 해당 위치에서 개별 `.jsonl` 파일을 열 수 있습니다. 두 방식 모두 세션, 턴, 도구 호출, 모델 응답을 단계별로 확인하는 데 동일한 트레이스 뷰어를 사용합니다. 지원되는 에이전트 및 트레이스 확인 방법은 [Agent Traces](./agent-traces)를 참고하세요.

## 대규모 데이터셋

Dataset Viewer는 대규모 데이터셋을 지원하지만, 데이터 형식에 따라 데이터셋의 처음 5GB만 표시할 수 있습니다:

- Parquet 데이터셋의 경우: Dataset Viewer는 전체 데이터셋을 표시하지만, 정렬, 필터링 및 검색은 처음 5GB에 대해서만 사용할 수 있습니다.
- 5GB를 초과하는 다른 형식(예: [WebDataset](https://github.com/webdataset/webdataset) 또는 JSON Lines)의 데이터셋의 경우: Dataset Viewer는 처음 5GB만 표시하며, 정렬, 필터링 및 검색은 이 처음 5GB에 대해서만 활성화됩니다.

이 경우, 정보 메시지가 Viewer가 부분적인 것임을 알려줍니다. 이는 전체 데이터셋을 정확히 대표하기에 충분히 큰 샘플이어야 하며, 더 큰 샘플이 필요하시면 알려주시기 바랍니다.

## parquet 파일에 액세스

데이터셋 뷰어를 구동하기 위해, 모든 데이터셋의 처음 5GB는 Parquet 형식으로 자동 변환됩니다(이미 Parquet 데이터셋인 경우 제외). 데이터셋 뷰어(예: [GLUE](https://huggingface.co/datasets/nyu-mll/glue))에서 [_"Auto-converted to Parquet"_](https://huggingface.co/datasets/nyu-mll/glue/tree/refs%2Fconvert%2Fparquet/cola)를 클릭하면 Parquet 파일에 접근할 수 있습니다. Polars, Pandas, DuckDB와 같은 라이브러리로 데이터셋의 Parquet 파일을 쿼리하는 방법은 [dataset viewer docs](/docs/datasets-server/parquet_process)를 참고하세요.

> [!TIP]
> Parquet는 대규모 데이터셋의 쿼리 및 처리에 최적화된 컬럼형 저장 형식입니다. Parquet는 빅데이터 처리 및 분석에서 인기 있는 선택지이며, 데이터 처리 및 기계 학습에 널리 사용됩니다. 이 형식과 관련된 이점에 대해서는 문서에서 자세히 알아볼 수 있습니다.

### 변환 봇

새로운 데이터셋을 생성하면 [`parquet-converter` 봇](https://huggingface.co/parquet-converter)이 데이터셋을 Parquet로 변환한 후 알림을 보냅니다. 저장소에서 여는 [discussion](./repositories-pull-requests-discussions)에는 Parquet 형식에 대한 세부 정보와 Parquet 파일에 대한 링크가 제공됩니다.

### 프로그램 기반 액세스

[Hub API](https://huggingface.co/docs/dataset-viewer/parquet#using-the-hugging-face-hub-api)를 사용하여 Parquet 파일 목록에 프로그래매틱으로 접근할 수도 있습니다. 예를 들어, [`https://huggingface.co/api/datasets/nyu-mll/glue/parquet`](https://huggingface.co/api/datasets/nyu-mll/glue/parquet) 엔드포인트는 `nyu-mll/glue` 데이터셋의 Parquet 파일을 나열합니다. `hf` CLI는 [`hf datasets parquet`](/docs/huggingface_hub/package_reference/cli#hf-datasets-parquet)를 통해 동일한 목록을 제공하며, [`hf datasets sql`](/docs/huggingface_hub/package_reference/cli#hf-datasets-sql)을 사용하면 SQL로 파일을 쿼리할 수 있습니다.

[Dataset Viewer API](https://huggingface.co/docs/dataset-viewer)에 대한 전용 문서도 있으며, 이를 직접 호출할 수 있습니다. 해당 API를 사용하면 Hugging Face Hub의 모든 데이터셋의 콘텐츠, 메타데이터 및 기본 통계에 접근할 수 있으며, Dataset viewer 프론트엔드를 구동합니다.

## 데이터셋 미리보기

가장 큰 데이터셋의 경우, 페이지에는 전체 기능이 포함된 뷰어 대신 첫 100행의 미리보기가 표시됩니다. 이 제한은 5GB를 초과하는 데이터셋 중 Parquet 형식이 아니거나 Parquet으로 자동 변환되지 않은 데이터셋에만 적용됩니다.

## Dataset Viewer를 웹페이지에 임베드하기

Dataset Viewer를 iframe을 사용하여 자체 웹페이지에 임베드할 수 있습니다. 사용할 URL은 `https://huggingface.co/datasets/<namespace>/<dataset-name>/embed/viewer`이며, 여기서 `<namespace>`은 데이터셋의 소유자이고 `<dataset-name>`은 데이터셋의 이름입니다. subset, split, filter, search, 선택된 행과 같은 다른 매개변수도 전달할 수 있습니다.

자세한 내용은 [Dataset Viewer를 웹페이지에 임베딩하는 방법](./datasets-viewer-embed) 가이드를 참고하세요.

## Dataset Viewer 구성

데이터셋에 대해 제대로 작동하는 Dataset Viewer를 사용하려면, 데이터셋이 지원되는 형식과 구조를 갖추고 있는지 확인하세요. 또한 YAML을 사용하여 데이터셋을 구성할 수 있는 옵션도 있습니다.

Dataset Viewer에서 표시할 파일을 지정하려면 데이터셋의 `README.md` 파일 상단에 YAML 구성 블록을 추가할 수 있습니다. 예를 들어, 어떤 파일이 어떤 split에 포함될지 선택하려면:

```yaml
---
configs:
- config_name: default
  data_files:
  - split: train
    path: "data.csv"
  - split: test
    path: "holdout.csv"
---
```

각 split별로 여러 파일을 선택하거나 glob 패턴을 사용할 수도 있습니다:

```yaml
---
configs:
- config_name: default
  data_files:
  - split: train
    path:
    - "data/train_part1.csv"
    - "data/train_part2.csv"
  - split: test
    path: "data/*.csv"
---
```

**private** 데이터셋의 경우 Dataset Viewer는 [PRO 사용자](https://huggingface.co/pricing)와 [Team 또는 Enterprise 조직](https://huggingface.co/enterprise)에 대해 활성화됩니다.

자세한 내용은 [Dataset Viewer 구성 방법](./datasets-viewer-configure) 가이드를 참고하세요.