11 Sınıfa sahip bir görüntü veri kümesiyle bir sınıflandırma problemi üzerinde çalışıyorum. Toplam 11.000 görüntü içerir ve her sınıf klasör bazında (11 klasör) saklanan 1000 görüntüye sahiptir. Veri kümesi boyutu yaklaşık 40 mb'dir. Verileri google drive'dan collab'a yükledikten sonra( aslında biraz zaman alır) ve modele beslemeden önce ön işleme koyduktan sonra, collab'ın belleği anında %95 dolu olur. Eğitime başladığımda, collab çöküyor ve çalışma zamanı sıfırlanıyor. Keras data-flow-from-directory işlevini kullandığımda bu gerçekleşmez. Bir çözüm bulmak için kuramıyorum. Ekran
0
Bu gerçekleşiyor çünkü tren ve doğrulama veri kümeleriyle uyumu çağırarak colab'ı tüm görüntüleri ram'e aynı anda yüklemeye zorluyorsunuz bu, bir jeneratör yazmanız gerekiyor, zaten yazılmış kodun çoğuyla kolay bir çözüm kullanmaktır. tfrecords, keras gerisini halleder.
https://www.tensorflow.org/tutorials/load_data/tfrecord
görüntüleri diskte saklamanız ve eğitim sırasında çekmeniz gerekir, hepsi başlangıçta değil.
tfrecords kullanmak zorunda değilsiniz, istediğiniz herhangi bir jeneratörü kullanabilirsiniz, ancak bu şeyler hemen yarasadan gelir
BestDogeStackoverflow
Burada Keras Tuner kullanıyorum, bu yüzden jeneratörün tuner-search ile kullanılıp kullanılamayacağından emin değilim
SDS