Thống kê tải Datasets

Số lượt tải xuống của các bộ dữ liệu được tính như thế nào?

Việc đếm số lượt tải xuống cho các bộ dữ liệu không phải là một nhiệm vụ đơn giản, vì một kho dữ liệu có thể chứa nhiều tệp, từ nhiều tập con và phần chia (ví dụ: train/validation/test) và đôi khi có nhiều tệp trong một phần chia duy nhất. Để giải quyết vấn đề này và tránh việc đếm nhiều lần lượt tải xuống của một người, chúng tôi coi tất cả các tệp được tải xuống bởi một người dùng (dựa trên địa chỉ IP của họ) trong một cửa sổ 5 phút tại một kho cụ thể là một lượt tải xuống bộ dữ liệu duy nhất. Việc đếm này diễn ra tự động trên máy chủ của chúng tôi khi các tệp được tải xuống (thông qua các yêu cầu GET hoặc HEAD), không cần thu thập bất kỳ thông tin người dùng nào hay thực hiện các cuộc gọi bổ sung.

Trước tháng 9 năm 2024

Trước đây, Hub chỉ cung cấp thống kê lượt tải xuống cho các dataset có thể tải bằng thư viện datasets. Để xác định số lượt tải, Hub trước đó đã đếm mỗi lần load_dataset được gọi trong Python, loại trừ công cụ CI của Hugging Face trên GitHub. Không có thông tin nào được gửi từ phía người dùng và không có thêm các cuộc gọi nào khác cho mục đích này. Việc đếm được thực hiện phía máy chủ khi chúng tôi cung cấp các tệp để tải xuống. Điều này có nghĩa là:

• Số lượt tải xuống là như nhau bất kể dữ liệu được lưu trữ trực tiếp trên kho Hub hay kho có script để tải dữ liệu từ nguồn bên ngoài.
• Nếu người dùng đã tải xuống dữ liệu một cách thủ công bằng các công cụ như wget hoặc giao diện người dùng (UI) của Hub, những lượt tải xuống đó không được tính vào số lượt tải xuống.

Nếu tôi cần dữ liệu tải xuống chi tiết hơn cho các bộ dữ liệu của mình thì sao?

Nếu bạn cần dữ liệu tải xuống chi tiết hơn, chẳng hạn để:

• phân biệt tệp dữ liệu với siêu dữ liệu,
• loại trừ các lượt tải xuống khỏi các pipeline CI/CD,
• hoặc khử trùng lặp người dùng (tức là đếm số người tải xuống duy nhất),

sau đó Publisher Analytics, và đặc biệt là tính năng granular logs, có thể cung cấp các nhật ký truy cập ở cấp độ yêu cầu, đã được ẩn danh, cho tất cả các mô hình và bộ dữ liệu do tổ chức của bạn phát hành.

Các dữ liệu này được cung cấp dưới dạng nhật ký thô, vì hầu hết các tổ chức sẽ muốn áp dụng các quy tắc tùy chỉnh của riêng mình.

Update on GitHub