R-döngü içinde wrıte_parquet

0

Soru

fwrite çok fazla döngü var mı .csv çalışma dizinindeki dosyalar ancak yazdığımda .parquet her seferinde üzerine yazar.

Birkaç yaklaşım denedim, temel olarak dosya adını kullanmaya çalışıyorum .csv dosya adı, üzerine yazılmadan aşağıda gösterildiği gibi.

rm(list = ls())
gc()

# Set up environment #
require("data.table")
require("arrow")

# Set directory to data, define files #
setwd("E:/TransferComplete/07/")

files <- list.files(pattern = "csv")

for (i in files){  setwd("E:/TransferComplete/07/")
loopStart <- Sys.time()
  
  bb <- fread(i,header = TRUE,sep = ",", data.table = FALSE, stringsAsFactors = FALSE,
                select = c("x","y","z"))
  gc()
  
  
  write_parquet(bb,
  'E:/P/i.parquet')
  
  
  loopEnd <- Sys.time()
  loopTime <- round(as.numeric(loopEnd) - as.numeric(loopStart), 0)
}
csv loops parquet r
2021-11-23 23:08:00
2

En iyi cevabı

1

Bunu değiştir

write_parquet(bb,
  'E:/P/i.parquet')

buna

write_parquet(bb,paste0('E:/P/',i,'.parquet'))
2021-11-24 00:31:37
1

Sorunuza çok yakındınız. Ne zaman yazıyorsun .parquet, sen ayırmak gerekir i bir dosya yazarken veya döngü adı verilen bir dosya yazmaya devam edecektir i.parquet.

write_parquet(bb,paste0('E:/P/',i,'.parquet'))
2021-11-24 00:40:17

Diğer dillerde

Bu sayfa diğer dillerde

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................