web-dev-qa-db-fra.com

récupérer plus de 20 lignes et afficher la valeur complète de la colonne dans spark-shell

J'utilise CassandraSQLContext de spark-Shell pour interroger les données de Cassandra. Donc, je veux savoir deux choses: comment récupérer plus de 20 lignes à l'aide de CassandraSQLContext et deuxièmement comment Id afficher la valeur complète de la colonne. Comme vous pouvez le voir ci-dessous par défaut, il ajoute des points dans les valeurs de chaîne.

Code:

val csc = new CassandraSQLContext(sc)
csc.setKeyspace("KeySpace")
val maxDF = csc.sql("SQL_QUERY" )
maxDF.show

Sortie:

+--------------------+--------------------+-----------------+--------------------+
|                  id|               Col2|              Col3|                Col4| 
+--------------------+--------------------+-----------------+--------------------+
|8wzloRMrGpf8Q3bbk...|             Value1|                 X|                  K1|
|AxRfoHDjV1Fk18OqS...|             Value2|                 Y|                  K2|
|FpMVRlaHsEOcHyDgy...|             Value3|                 Z|                  K3|
|HERt8eFLRtKkiZndy...|             Value4|                 U|                  K4|
|nWOcbbbm8ZOjUSNfY...|             Value5|                 V|                  K5|
scalaapache-sparkpysparkapache-spark-sql
22
Naresh

Si vous souhaitez imprimer la valeur entière d'une colonne, dans scala, il vous suffit de définir l'argument tronqué de la méthode show sur false:

maxDf.show(false)

et si vous souhaitez afficher plus de 20 lignes:

// example showing 30 columns of 
// maxDf untruncated
maxDf.show(30, false)

Pour pyspark, vous devrez spécifier le nom de l'argument:

maxDF.show(truncate = False)
39
eliasah

Vous n'obtiendrez pas sous forme tabulaire à la place, il sera converti en objet scala.

maxDF.take(50)
5
WoodChopper