Veri dosyaları Yapılandırması

Veri seti depolarının nasıl yapılandırılacağına dair herhangi bir kısıtlama yoktur.

Ancak, Dataset Viewer'ın belirli veri dosyalarını göstermesini veya veri setinizi eğitim/doğrulama/test bölümlerine ayırmasını istiyorsanız, veri setinizi buna göre yapılandırmanız gerekir. Bazen bu, veri dosyalarınızı bölüm adlarına göre adlandırmak kadar basittir, örneğin train.csv ve test.csv.

Bölümler ve alt kümeler nelerdir?

Makine öğrenmesi veri setleri genellikle bölümlere (splits) ayrılır ve alt kümeler (subsets) içerebilir. Bir veri seti, bir modelin eğitimi ve değerlendirilmesinin farklı aşamalarında kullanılan bölümlerden (ör. train ve test) oluşur. Bir alt küme (aynı zamanda yapılandırma olarak da adlandırılır), daha büyük bir veri setinin içinde yer alan bir alt veri setidir. Alt kümeler, her dil için farklı bir alt küme bulunabilen çok dilli konuşma veri setlerinde özellikle yaygındır. Bölümler ve alt kümeler hakkında daha fazla bilgi edinmek isterseniz, Bölümler ve alt kümeler kılavuzuna göz atın!

Otomatik bölümlerin algılanması

Bölümler, dosya ve dizin adlarına göre otomatik olarak algılanır. Örneğin, aşağıdaki veri setinde train, test ve validation bölümleri vardır:

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

Veri dosyalarınızı veya dizinlerinizi bölme adlarına göre adlandırarak veri setinizi yapılandırmak için Dosya adları ve bölümler belgesine ve örnek veri setleri koleksiyonuna bakın.

Manuel bölme ve alt küme yapılandırması

Veri setiniz için Dataset Viewer'da gösterilecek veri dosyalarını YAML kullanarak seçebilirsiniz. Hangi dosyanın hangi bölüme (split) gideceğini manuel olarak belirtmek istiyorsanız bu işe yarar.

Ayrıca veri setiniz için birden çok alt küme tanımlayabilir ve veri seti oluşturma parametrelerini (ör. CSV dosyaları için kullanılacak ayırıcı) iletebilirsiniz.

“benchmark” adlı bir alt küme tanımlayan ve test bölüntüsü içeren bir yapılandırmanın örneği aşağıdadır.

configs:
- config_name: benchmark
  data_files:
  - split: test
    path: benchmark.csv

Daha fazla bilgi için Manuel yapılandırma belgesine bakın. Ayrıca örnek veri setlerine de göz atın.

Desteklenen dosya biçimleri

Desteklenen formatların listesini ve veri setiniz için önerileri bulmak için File formats doküman sayfasına bakın. Veri setiniz CSV veya TSV dosyaları kullanıyorsa, daha fazla bilgiyi example datasets bölümünde bulabilirsiniz.

Dataset Viewer boyut sınırı hataları (TooBigContentError)

Error code: TooBigContentError hatasını görüyorsanız, veri seti görüntüleyicisi sınırları içinde bir önizleme okuyamamış demektir. Yaygın mesajlar arasında Parquet error: Scan size limit exceeded ve The size of the content of the first rows exceeds the maximum supported size yer alır.

Yapabilecekleriniz:

• Parquet dosyaları için daha küçük satır grupları kullanın ve bir sayfa indeksi (write_page_index=True) ekleyin, böylece Görüntüleyici yalnızca ihtiyaç duyduğunu okuyabilir.
• İlk satırlarda çok büyük değerlerden kaçının (çok uzun dizeler, büyük JSON blokları, base64 yükleri). Mümkünse büyük yükleri ayrı dosyalara taşıyın.
• Çok büyük dosyaları daha küçük parçalara veya bölümlere ayırın, ardından yeniden yükleyin.
• Sorun devam ederse, Dataset Viewer'ı Yapılandır bölümünü inceleyin ve tam hata metnini ekleyerek veri seti sayfanızda bir tartışma açın.

Görsel, Ses ve Video veri kümeleri

Görsel/ses/video sınıflandırma veri setleri için, görsel/ses/video sınıflarını adlandırmak üzere dizinleri de kullanabilirsiniz. Ve görsel/ses/video dosyalarınızın üst verileri (ör. açıklamalar, sınırlayıcı kutular, transkripsiyonlar vb.) varsa, bu dosyaların yanında üst veri dosyaları bulundurabilirsiniz.

İki rehber sunuyoruz:

• Bir görüntü veri seti nasıl oluşturulur (örnek veri setleri)
• Ses veri seti oluşturma (örnek veri setleri)
• Bir video veri seti nasıl oluşturulur