web-dev-qa-db-fra.com

Comment trouver le répertoire d'installation de Spark?

Je veux changer spark-env.sh. Comment puis-je trouver le répertoire d'installation dans Ubuntu?

J'ai regardé dans l'interface utilisateur mais je n'ai rien trouvé.

whereis spark

résultat: spark:

Voici le journal pour la commande de localisation localiser l'étincelle 

/home/sys6002/.netbeans/8.0.2/Apache-Tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/11
/home/sys6002/.netbeans/8.0.2/Apache-Tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/13
/home/sys6002/.netbeans/8.0.2/Apache-Tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/files
/home/sys6002/.netbeans/8.0.2/Apache-Tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/jars
/home/sys6002/Desktop/diff spark hadoop.png
/home/sys6002/Desktop/sparkmain
/home/sys6002/Downloads/learning-spark-master.Zip
/home/sys6002/Downloads/mongo-spark-master
/home/sys6002/Downloads/spark-1.5.1
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6 (2)
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6.tgz
/home/sys6002/Downloads/spark-1.5.1-bin-without-hadoop
/home/sys6002/Downloads/spark-cassandra-connector-master
/home/sys6002/Downloads/spark-core_2.9.3-0.8.0-incubati
home/sys6002/anaconda3/pkgs/odo-0.3.2-np19py34_0/lib/python3.4/site-packages/odo/backends/tests/__pycache__/test_sparksql.cpython-34.pyc
/home/sys6002/spark-example/a.txt
/home/sys6002/spark-example/a.txt~
/home/sys6002/spark-example/pom.xml
/home/sys6002/spark-example/pom.xml~
/home/sys6002/spark-example/src
/home/sys6002/spark-example/src/main
/home/sys6002/spark-example/src/test
/home/sys6002/spark-example/src/main/Java
/home/sys6002/spark-example/src/main/Java/com
/home/sys6002/spark-example/src/main/Java/com/geekcap
/home/sys6002/spark-example/src/main/Java/com/geekcap/javaworld
/home/sys6002/spark-example/src/main/Java/com/geekcap/javaworld/App.Java
/home/sys6002/spark-example/src/main/Java/com/geekcap/javaworld/WordCount.Java~
/home/sys6002/spark-example/src/main/Java/com/geekcap/javaworld/sparkexample
/home/sys6002/spark-example/src/main/Java/com/geekcap/javaworld/sparkexample/WordCount.Java
/home/sys6002/spark-example/src/main/Java/com/geekcap/javaworld/sparkexample/WordCount.Java~

/home/sys6002/spark-example/src/test/Java/com/geekcap/javaworld/AppTest.Java
/usr/share/app-install/desktop/lightspark:lightspark.desktop
/usr/share/app-install/desktop/sparkleshare:sparkleshare-invite-opener.desktop
/usr/share/app-install/desktop/sparkleshare:sparkleshare.desktop
javaubuntuapache-spark
14
Anil

Vous pouvez essayer ces deux commandes:

  1. locate spark

  2. whereis spark

localiser - Pour chaque donnée pattern, local cherche une ou plusieurs bases de données de noms de fichiers et affiche les noms de fichiers contenant le motif. Les modèles peuvent contient des métacaractères de style shell: '', '?' et '[]'. Les métacaractères ne traitent pas spécialement '/' ou '.'. Par conséquent, un motif .__ '' foobar 'peut correspondre à un nom de fichier contenant' foo3/bar 'et un motif 'canard} _' peut correspondre à un nom de fichier contenant 'lac/.ducky' . Les motifs contenant des méta-caractères doivent être cités pour les protéger de l'expansion par le Shell.

whereis localise les sections source/binary et manuals pour les fichiers spécifiés des dossiers. Les noms fournis sont d’abord dépouillés du nom de chemin principal composants et toute extension (unique) de la forme .ext, pour exemple, .c. Les préfixes de s. résultant de l'utilisation du contrôle de code source sont également traités. Whereis tente alors de localiser le .__ désiré. programme dans une liste de lieux Linux standard.

8
Avihoo Mamka

Cela a également fonctionné pour moi:

cd $SPARK_HOME

Cela vous mènera au répertoire où Spark a été installé, si cette variable d'environnement est définie.

3
Maddenker

Pourquoi avez-vous besoin du répertoire personnel de Spark? Vous n'avez pas nécessairement besoin d'une installation locale de Spark pour exécuter les applications Spark. Vous devez disposer d’une installation locale du paquet Spark pour pouvoir utiliser Spark Standalone ou pour le distribuer sur des clusters YARN ou Mesos, mais cela ne semble pas être votre cas.

Vous avez besoin de pots et les valeurs par défaut de Spark feront le reste.

Vous pouvez voir l'interface Web car elle est activée par défaut lorsque vous créez une instance de SparkContext.

Globalement, Spark fait partie du projet que vous développez sous forme de groupe de fichiers jar et, lorsque votre application Spark démarre, il crée un SparkContext qui, en fonction de votre URL principale, se connecte à l'environnement d'exécution.

Les variables d'environnement dans spark-env.sh peuvent être facilement définies à l'aide de SparkContext.

2
Jacek Laskowski

Grâce à Jacek, j'ai découvert que Spark n'était pas installé sur ma machine et que je n'utilisais que les libararies d'étincelles dans mon projet.

Pour en ajouter davantage, pour exécuter l'application spark dans le projet Java, vous n'avez pas nécessairement besoin de Apache spark, scala et pyspark.

Y compris les pots fera votre travail 

0
Anil