Pyspark: comment ajouter dix jours à la colonne de date existante
J'ai un dataframe dans Pyspark avec une colonne de date appelée "report_date".
Je veux créer une nouvelle colonne appelée "report_date_10" qui est ajoutée 10 jours à la colonne report_date d'origine.
Voici le code que j'ai essayé:
df_dc["report_date_10"] = df_dc["report_date"] + timedelta(days=10)
Voici l'erreur que j'ai eue:
AttributeError: l'objet 'datetime.timedelta' n'a pas d'attribut '_get_object_id'
Aidez-moi! THX
Il semble que vous utilisiez la syntaxe pandas pour ajouter une colonne; Pour spark, vous devez utiliser withColumn pour ajouter une nouvelle colonne; Pour ajouter la date, il y a la fonction date_add Intégrée:
import pyspark.sql.functions as F
df_dc = spark.createDataFrame([['2018-05-30']], ['report_date'])
df_dc.withColumn('report_date_10', F.date_add(df_dc['report_date'], 10)).show()
+-----------+--------------+
|report_date|report_date_10|
+-----------+--------------+
| 2018-05-30| 2018-06-09|
+-----------+--------------+