J'essaie d'ajouter des données à mon fichier csv à l'aide de df.write.csv
. Voici ce que j'ai fait après le document spark http://spark.Apache.org/docs/2.0.1/api/python/pyspark.sql.html#pyspark.sql.DataFrameWriter :
from pyspark.sql import DataFrameWriter
.....
df1 = sqlContext.createDataFrame(query1)
df1.write.csv("/opt/Output/sqlcsvA.csv", append) #also tried 'mode=append'
L'exécution du code ci-dessus me donne une erreur:
NameError: nom 'append' non défini
Sans append, erreur:
Le chemin existe déjà.
df.write.save(path='csv', format='csv', mode='append', sep='\t')
Je ne parle pas de Python, mais en Scala et Java, on peut définir le mode de sauvegarde de la manière suivante:
df.write.mode("append").csv("pathToFile")
Je suppose que cela devrait être similaire en Python. Ceci peut être utile.