Databricks'te varsayılan db'ye tablo olarak eklenen küçük bir txt dosyasını okumaya çalışıyorum. Dosyayı Yerel Dosya API'sı üzerinden okumaya çalışırken, bir FileNotFoundError Ancak SparkContext kullanarak Spark RDD ile aynı dosyayı okuyabiliyorum.
Lütfen aşağıdaki kodu bulun:
with open("/FileStore/tables/boringwords.txt", "r") as f_read:
for line in f_read:
print(line)
Bu bana hatayı veriyor:
FileNotFoundError Traceback (most recent call last)
<command-2618449717515592> in <module>
----> 1 with open("dbfs:/FileStore/tables/boringwords.txt", "r") as f_read:
2 for line in f_read:
3 print(line)
FileNotFoundError: [Errno 2] No such file or directory: 'dbfs:/FileStore/tables/boringwords.txt'
Nerede olduğu gibi, SparkContext kullanarak dosyayı okumakta sorun yaşamıyorum:
boring_words = sc.textFile("/FileStore/tables/boringwords.txt")
set(i.strip() for i in boring_words.collect())
Ve beklendiği gibi, yukarıdaki kod bloğu için sonucu alıyorum:
Out[4]: {'mad',
'mobile',
'filename',
'circle',
'cookies',
'immigration',
'anticipated',
'editorials',
'review'}
Yerel Dosya apı'sinin sınırlamalarını anlamak için DBFS belgelerine de atıfta bulunuyordum, ancak konuyla ilgili hiçbir ipucu yoktu. Herhangi bir yardım çok takdir edilecektir. Teşekkürler!
