J'exécute un cluster pyspark sur AWS EMR et utilise Jupyter pour le pilote pyspark. Récemment, le script a échoué. Jupiter ne parvient pas à démarrer un serveur. J'installe avec conda install jupyter
et commencez par Sudo initctl start jupyter
. Le cluster fonctionne correctement. Voici les valeurs de configuration du serveur.
# jupyter configs
mkdir -p ~/.jupyter
touch ls ~/.jupyter/jupyter_notebook_config.py
HASHED_PASSWORD=$(python -c "from notebook.auth import passwd;
print(passwd('$JUPYTER_PASSWORD'))")
echo "c.NotebookApp.password = u'$HASHED_PASSWORD'" >> ~/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.open_browser = False" >> ~/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.ip = '*'" >> ~/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.notebook_dir = '/mnt/$BUCKET/$FOLDER'" >> ~/.jupyter/jupyter_notebook_config.py
echo "c.ContentsManager.checkpoints_kwargs = {'root_dir': '.checkpoints'}" >> ~/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.port = 8080" >> ~/.jupyter/jupyter_notebook_config.py
J'ai trouvé cela après la mise à jour vers jupyter 5.7. J'ai dû modifier les paramètres de configuration. Changement
echo "c.NotebookApp.ip = '*'" >> ~/.jupyter/jupyter_notebook_config.py
à
echo "c.NotebookApp.ip = '0.0.0.0'" >> ~/.jupyter/jupyter_notebook_config.py