Bir sınıflandırma görevi için yaklaşık bir milyon metin verisi için pytorch kullanarak bir BERT modeli eğittim. Bu modeli yeni verilerle test ettikten sonra Yanlış Pozitifler ve Yanlış Negatifler alıyorum. Şimdi mevcut modeli sadece FN ve FP ile yeniden eğitmek istiyorum. FN ve fp'yi mevcut veri kümesine eklemek ve ardından tüm modeli tekrar eğitmek istemiyorum. Bu bert modelini yalnızca bu FN ve Fp ile önceden eğitilmiş model üzerinde nasıl yeniden eğitebilirim.
0
Tren döngüsünün kodunu bilmeden, fikir eğitimden sonra böyle bir şeye benzemelidir:
results = model(data)
wrong_datapoints = []
for i, result in enumerate(results)
if result != labels[i]:
wrong_datapoints.append((data[i],labels[i]))
(data_new, labels_new) = list(zip(*wrong_datapoints))
model.train(data_new, labels_new)
Daha spesifik bir şey istiyorsanız, mevcut tren döngüsünüzün kodunu sağlamanız gerekecek.
teşekkürler geri bildirim için. Ama model versiyonunu saklamak istiyorum, çünkü her hafta eğitiyoruz, model versiyonunu yapıyoruz. Ve ayrıca bir milyon kaydı yinelemek çok zaman alacak. Bin dosyasının önceki sürümünü(v1.0) yüklemeyi ve daha sonra başka bir sürüm v2.0 oluşturmak için bunu yalnızca yeni veri noktalarıyla yeniden eğitmeyi düşünüyordum
Patricia
Bunu belirtmek için sorunuzu açıklığa kavuşturmak isteyebilirsiniz. Bununla birlikte, sürüm oluşturma yapmak, eğitimden sonra veri noktalarının sonuçlarını izleme ihtiyacını ortadan kaldırmaz ve eğitim tamamlandıktan sonra tren verileri üzerinde tek bir döngü gerektirir. Sonuçta, "yeni veri noktaları" nın ne olduğunu belirlemeniz gerekir.
Kroshtan