데이터셋 다운로드 통계

데이터셋의 다운로드 횟수는 어떻게 집계되나요?

데이터셋의 다운로드 횟수를 집계하는 것은 자명한 작업이 아닙니다. 단일 데이터셋 저장소에는 여러 서브셋과 스플릿(예: train/validation/test)에서 온 여러 파일이 포함될 수 있으며, 단일 스플릿에 여러 파일이 있는 경우도 있기 때문입니다. 이 문제를 해결하고 한 사용자의 다운로드를 여러 번 집계하는 것을 방지하기 위해, 특정 저장소에서 5분 윈도우 내에서 사용자가(IP 주소 기반) 다운로드한 모든 파일을 단일 데이터셋 다운로드 1회로 처리합니다. 이 집계는 파일이 다운로드될 때(GET 또는 HEAD 요청을 통해) 서버에서 자동으로 수행되며, 사용자 정보를 수집하거나 추가 호출을 할 필요가 없습니다.

2024년 9월 이전

Hub은 datasets 라이브러리를 통해 로드할 수 있는 데이터셋에 대해서만 다운로드 통계를 제공했습니다. 다운로드 횟수를 파악하기 위해 Hub는 GitHub의 Hugging Face CI 도구를 제외하고 Python에서 load_dataset이 호출될 때마다 이를 카운트했습니다. 이 과정에서 사용자로부터 정보가 전송되지 않았으며, 이를 위한 추가 호출도 발생하지 않았습니다. 파일 다운로드를 위해 파일을 서빙하는 동안 서버 측에서 카운트가 수행되었습니다. 이는 다음을 의미합니다:

• 데이터가 Hub 저장소에 직접 저장되어 있든, 외부 소스에서 데이터를 로드하는 스크립트가 저장소에 있든 다운로드 횟수는 동일했습니다.
• 사용자가 wget과 같은 도구나 Hub의 사용자 인터페이스(UI)를 통해 데이터를 수동으로 다운로드한 경우, 해당 다운로드는 다운로드 횟수에 포함되지 않았습니다.

데이터셋에 대해 더 세분화된 다운로드 데이터가 필요하면 어떻게 해야 하나요?

더 세분화된 다운로드 데이터가 필요한 경우, 예를 들어:

• 데이터 파일과 메타데이터를 구별합니다.
• CI/CD 파이프라인에서 다운로드를 제외합니다.
• 또는 사용자 중복을 제거합니다(즉, 고유한 다운로드 수를 계산합니다).

그 후 Publisher Analytics, 특히 granular logs 기능을 통해 조직이 게시한 모든 모델과 데이터셋에 대한 익명화된 요청 수준 액세스 로그를 제공할 수 있습니다.

대부분의 조직이 자체적인 커스텀 규칙을 적용하기를 원하므로, 이는 원시 로그(raw logs)로 제공됩니다.

Update on GitHub