comment définir livy.server.session.timeout sur le bootstrap du cluster EMR?
Je crée un cluster EMR et j'utilise le bloc-notes jupyter pour exécuter certaines tâches spark. Mes tâches meurent après environ 1 heure d'exécution, et l'erreur est:
An error was encountered:
Invalid status code '400' from https://xxx.xx.x.xxx:18888/sessions/0/statements/20 with error payload: "requirement failed: Session isn't active."
Ma compréhension est qu'elle est liée à la configuration de Livy livy.server.session.timeout, mais je ne sais pas comment le définir dans le bootstrap du cluster (je dois le faire dans le bootstrap parce que le cluster est créé sans accès ssh)
Merci beaucoup d'avance
Si vous ne voulez pas que la session Livy se déroule du tout, définissez la propriété livy.server.session.timeout-check à false dans /etc/livy/conf/livy.conf.