Statistiques de téléchargement des jeux de données

Comment les téléchargements sont-ils comptés pour les jeux de données ?

Compter le nombre de téléchargements de jeux de données n’est pas une tâche triviale, car un dépôt de jeu de données peut contenir plusieurs fichiers, issus de plusieurs sous-ensembles et partitions (par exemple train/validation/test), et parfois avec de nombreux fichiers dans une seule partition. Pour résoudre ce problème et éviter de compter plusieurs fois le téléchargement d’une même personne, nous considérons tous les fichiers téléchargés par un utilisateur (sur la base de son adresse IP) dans une fenêtre de 5 minutes au sein d’un dépôt donné comme un seul téléchargement de jeu de données. Ce comptage se fait automatiquement sur nos serveurs lorsque les fichiers sont téléchargés (via des requêtes GET ou HEAD), sans qu’il soit nécessaire de collecter des informations utilisateur ni d’effectuer des appels supplémentaires.

Avant septembre 2024

Le Hub ne fournissait auparavant des statistiques de téléchargement que pour les jeux de données chargeables via la bibliothèque datasets. Pour déterminer le nombre de téléchargements, le Hub comptait précédemment chaque appel de load_dataset en Python, en excluant les outils CI de Hugging Face sur GitHub. Aucune information n’était envoyée par l’utilisateur et aucun appel supplémentaire n’était effectué à cet effet. Le comptage était effectué côté serveur lorsque nous servions les fichiers pour les téléchargements. Cela signifiait que :

• Le nombre de téléchargements était identique, que les données soient stockées directement dans le dépôt du Hub ou que le dépôt contienne un script pour charger les données depuis une source externe.
• Si un utilisateur a téléchargé manuellement les données à l’aide d’outils tels que wget ou de l’interface utilisateur (UI) du Hub, ces téléchargements n’étaient pas inclus dans le nombre de téléchargements.

Que faire si j'ai besoin de données de téléchargement plus granulaires pour mes jeux de données ?

Si vous avez besoin de données de téléchargement plus granulaires, par exemple pour :

• distinguer les fichiers de données des métadonnées,
• exclure les téléchargements des pipelines CI/CD,
• ou dédupliquer les utilisateurs (c.-à-d. compter les téléchargeurs uniques),

ensuite, Publisher Analytics, et en particulier la fonctionnalité granular logs, peut fournir des journaux d’accès anonymisés au niveau de la requête pour tous les modèles et jeux de données publiés par votre organisation.

Ils sont fournis sous forme de journaux bruts, car la plupart des organisations souhaiteront appliquer leurs propres règles personnalisées.

Update on GitHub