web-dev-qa-db-fra.com

comment convertir une chaîne json en dataframe sur spark

Je veux convertir la variable de chaîne ci-dessous en dataframe sur spark.

val jsonStr = "{ "metadata": { "key": 84896, "value": 54 }}"

Je sais comment créer un cadre de données à partir d'un fichier json. 

sqlContext.read.json("file.json")

mais je ne sais pas comment créer une structure de données à partir d'une variable chaîne.

Comment puis-je convertir json String variable en dataframe.

jsonscalaapache-sparkdataframe
12
lucas kim

Pour Spark 2.2+ :

import spark.implicits._
val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
val df = spark.read.json(Seq(jsonStr).toDS)

Pour anciennes versions :

val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
val rdd = sc.parallelize(Seq(jsonStr))
val df = sqlContext.read.json(rdd)
28
Jean Logeart

Depuis la fonction de lecture de JSON à partir d'un RDD est devenue obsolète dans Spark 2.2, ce serait une autre option:

val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
import spark.implicits._ // spark is your SparkSession object
val df = spark.read.json(Seq(jsonStr).toDS)
14
markus

Pour convertir la liste des chaînes json en DataFrame dans Spark 2.2 =>

val spark = SparkSession
          .builder()
          .master("local")
          .appName("Test")
          .getOrCreate()

var strList = List.empty[String]
var jsonString1 = """{"ID" : "111","NAME":"Arkay","LOC":"Pune"}"""
var jsonString2 = """{"ID" : "222","NAME":"DineshS","LOC":"PCMC"}"""
strList = strList :+ jsonString1
strList = strList :+ jsonString2

val rddData = spark.sparkContext.parallelize(strList)
resultDF = spark.read.json(rddData)
resultDF.show()

Résultat:

+---+----+-------+
| ID| LOC|   NAME|
+---+----+-------+
|111|Pune|  Arkay|
|222|PCMC|DineshS|
+---+----+-------+
2
Dinesh Shinkar
simple_json = '{"results":[{"a":1,"b":2,"c":"name"},{"a":2,"b":5,"c":"foo"}]}'
rddjson = sc.parallelize([simple_json])
df = sqlContext.read.json(rddjson)

La référence à la réponse est https://stackoverflow.com/a/49399359/2187751

1
kaushalop

Voici un exemple de conversion de chaîne Json en Dataframe en Java (Spark 2.2+):

String str1 = "{\"_id\":\"123\",\"ITEM\":\"Item 1\",\"CUSTOMER\":\"Billy\",\"AMOUNT\":285.2}";
String str2 = "{\"_id\":\"124\",\"ITEM\":\"Item 2\",\"CUSTOMER\":\"Sam\",\"AMOUNT\":245.85}";
List<String> jsonList = new ArrayList<>();
jsonList.add(str1);
jsonList.add(str2);
SparkContext sparkContext = new SparkContext(new SparkConf()
        .setAppName("myApp").setMaster("local"));
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkContext);
SQLContext sqlContext = new SQLContext(sparkContext);
JavaRDD<String> javaRdd = javaSparkContext.parallelize(jsonList);
Dataset<Row> data = sqlContext.read().json(javaRdd);
data.show();

Voici le résultat:

+------+--------+------+---+
|AMOUNT|CUSTOMER|  ITEM|_id|
+------+--------+------+---+
| 285.2|   Billy|Item 1|123|
|245.85|     Sam|Item 2|124|
+------+--------+------+---+
0
Andrushenko Alexander