SQL sorgusu yerine pyspark DataFrame işlevlerini kullanarak aşağıdaki kodu çoğaltmak istiyorum.
spark.sql("select date from walmart_stock order by high desc limit 1").show()
0
Bağlantılı CSV dosyasından başlıyorsanız, kod aşağıdadır. SQL işlevlerini tanımanız gerekir. Kullandığımızı unutmayın inferSchema sayıları doğrudan çiftlere ayrıştırmak ve doğru sıralamayı elde etmek için seçenek (varsayılan dize türüyle beklendiği gibi çalışmaz). Başka bir yol, csv'yi okuduktan sonra sütunu atmak olacaktır.
spark.read
.option("header", "true")
.option("inferSchema", "true")
.csv("walmart_stock.csv")
.orderBy(f.col("High"), desc=True)
.limit(1)
.select("Date")
.show()
hangi verim
+----------+
| Date|
+----------+
|2015-11-13|
+----------+
Walmart_stock adında bir tablo oluşturdum ve onunla çalıştım. Evet, kodundan cevabımı aldım. Teşekkür ederim.
BEing MECHon