J'ai installé cloudera CDH 5 en utilisant cloudera manager.
Je peux facilement faire
hadoop fs -ls /input/war-and-peace.txt
hadoop fs -cat /input/war-and-peace.txt
cette commande ci-dessus imprimera le fichier txt entier sur la console.
maintenant je commence l'étincelle Shell et dis
val textFile = sc.textFile("hdfs://input/war-and-peace.txt")
textFile.count
Maintenant je reçois une erreur
Contexte Spark disponible en tant que sc.
scala> val textFile = sc.textFile("hdfs://input/war-and-peace.txt")
2014-12-14 15:14:57,874 INFO [main] storage.MemoryStore (Logging.scala:logInfo(59)) - ensureFreeSpace(177621) called with curMem=0, maxMem=278302556
2014-12-14 15:14:57,877 INFO [main] storage.MemoryStore (Logging.scala:logInfo(59)) - Block broadcast_0 stored as values in memory (estimated size 173.5 KB, free 265.2 MB)
textFile: org.Apache.spark.rdd.RDD[String] = hdfs://input/war-and-peace.txt MappedRDD[1] at textFile at <console>:12
scala> textFile.count
2014-12-14 15:15:21,791 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 0 time(s); maxRetries=45
2014-12-14 15:15:41,905 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 1 time(s); maxRetries=45
2014-12-14 15:16:01,925 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 2 time(s); maxRetries=45
2014-12-14 15:16:21,983 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 3 time(s); maxRetries=45
2014-12-14 15:16:42,001 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 4 time(s); maxRetries=45
2014-12-14 15:17:02,062 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 5 time(s); maxRetries=45
2014-12-14 15:17:22,082 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 6 time(s); maxRetries=45
2014-12-14 15:17:42,116 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 7 time(s); maxRetries=45
2014-12-14 15:18:02,138 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 8 time(s); maxRetries=45
2014-12-14 15:18:22,298 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 9 time(s); maxRetries=45
2014-12-14 15:18:42,319 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 10 time(s); maxRetries=45
2014-12-14 15:19:02,354 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 11 time(s); maxRetries=45
2014-12-14 15:19:22,373 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 12 time(s); maxRetries=45
2014-12-14 15:19:42,424 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 13 time(s); maxRetries=45
2014-12-14 15:20:02,446 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 14 time(s); maxRetries=45
2014-12-14 15:20:22,512 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 15 time(s); maxRetries=45
2014-12-14 15:20:42,515 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 16 time(s); maxRetries=45
2014-12-14 15:21:02,550 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 17 time(s); maxRetries=45
2014-12-14 15:21:22,558 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 18 time(s); maxRetries=45
2014-12-14 15:21:42,683 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 19 time(s); maxRetries=45
2014-12-14 15:22:02,702 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 20 time(s); maxRetries=45
2014-12-14 15:22:22,832 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 21 time(s); maxRetries=45
2014-12-14 15:22:42,852 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 22 time(s); maxRetries=45
2014-12-14 15:23:02,974 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 23 time(s); maxRetries=45
2014-12-14 15:23:22,995 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 24 time(s); maxRetries=45
2014-12-14 15:23:43,109 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 25 time(s); maxRetries=45
2014-12-14 15:24:03,128 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 26 time(s); maxRetries=45
2014-12-14 15:24:23,250 INFO [main] ipc.Client (Client.Java:handleConnectionTimeout(814)) - Retrying connect to server: input/92.242.140.21:8020. Already tried 27 time(s); maxRetries=45
Java.net.ConnectException: Call From dn1home/192.168.1.21 to input:8020 failed on connection exception: Java.net.ConnectException: Connection refused; For more details see: http://wiki.Apache.org/hadoop/ConnectionRefused
at Sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at Sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.Java:57)
at Sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.Java:45)
at Java.lang.reflect.Constructor.newInstance(Constructor.Java:526)
at org.Apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.Java:783)
at org.Apache.hadoop.net.NetUtils.wrapException(NetUtils.Java:730)
at org.Apache.hadoop.ipc.Client.call(Client.Java:1415)
Pourquoi ai-je eu cette erreur? Je suis capable de lire le même fichier en utilisant des commandes hadoop?
Voici la solution
sc.textFile("hdfs://nn1home:8020/input/war-and-peace.txt")
Comment ai-je découvert nn1home: 8020?
Il suffit de rechercher le fichier core-site.xml
et de rechercher l'élément xml fs.defaultFS
Cela fonctionnera:
val textFile = sc.textFile("hdfs://localhost:9000/user/input.txt")
Ici, vous pouvez prendre localhost:9000
dans la valeur du paramètre core-site.xml
du fichier de configuration hadoop fs.defaultFS
.
si vous voulez utiliser sc.textFile("hdfs://...")
, vous devez donner le chemin complet (chemin absolu), dans votre exemple, cela serait "nn1home: 8020/.."
Si vous voulez simplifier les choses, utilisez simplement sc.textFile("hdfs:/input/war-and-peace.txt")
C'est seulement un /
Vous ne passez pas une chaîne d'URL appropriée.
hdfs://
- type de protocolelocalhost
- adresse ip (peut être différent pour vous, par exemple - 127.56.78.4)54310
- numéro de port/input/war-and-peace.txt
- Chemin complet du fichier que vous voulez charger.Enfin, l'URL devrait être comme ça
hdfs://localhost:54310/input/war-and-peace.txt
Si vous démarrez spark avec HADOOP_HOME dans spark-env.sh, spark saura où chercher les fichiers de configuration hdfs.
Dans ce cas, spark connaît déjà l’emplacement de votre namenode/datanode et seul le code ci-dessous devrait fonctionner correctement pour accéder aux fichiers hdfs;
sc.textFie("/myhdfsdirectory/myfiletoprocess.txt")
Vous pouvez créer votre répertoire myhdfsdirectory comme ci-dessous;
hdfs dfs -mkdir /myhdfsdirectory
et à partir de votre système de fichiers local, vous pouvez déplacer votre fichier myfiletoprocess.txt dans le répertoire hdfs à l'aide de la commande ci-dessous
hdfs dfs -copyFromLocal mylocalfile /myhdfsdirectory/myfiletoprocess.txt
val conf = new SparkConf().setMaster("local[*]").setAppName("HDFSFileReader")
conf.set("fs.defaultFS", "hdfs://hostname:9000")
val sc = new SparkContext(conf)
val data = sc.textFile("hdfs://hostname:9000/hdfspath/")
data.saveAsTextFile("C:\\dummy\")
le code ci-dessus lit tous les fichiers hdfs du répertoire et les enregistre localement dans le dossier factice c: //.
Cela a fonctionné pour moi
logFile = "hdfs://localhost:9000/sampledata/sample.txt"
Cela pourrait aussi être une question de chemin de fichier ou d’URL et de port hdfs.
Solution: Ouvrez d'abord le fichier core-site.xml
à partir de l'emplacement $HADOOP_HOME/etc/hadoop
et vérifiez la valeur de la propriété fs.defaultFS
. Supposons que la valeur est hdfs://localhost:9000
et que l'emplacement du fichier dans hdfs est /home/usr/abc/fileName.txt
. Ensuite, l'URL du fichier sera: hdfs://localhost:9000/home/usr/abc/fileName.txt
et la commande suivante utilisée pour lire le fichier à partir de hdfs:
var result= scontext.textFile("hdfs://localhost:9000/home/usr/abc/fileName.txt", 2)
J'utilise aussi CDH5. Pour moi, le chemin complet "hdfs: // nn1home: 8020" ne fonctionne pas pour une raison étrange. La plupart de l'exemple montre le chemin comme ça.
J'ai utilisé la commande comme
val textFile=sc.textFile("hdfs:/input1/Card_History2016_3rdFloor.csv")
o/p de la commande ci-dessus:
textFile: org.Apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at <console>:22
textFile.count
res1: Long = 58973
et cela fonctionne bien pour moi.