web-dev-qa-db-fra.com

RuntimeError sur Windows en essayant python multitraitement

J'essaie mon tout premier programme formel python utilisant le threading et le multitraitement sur une machine Windows. Je ne parviens pas à lancer le processus avec python donnant les informations suivantes: Le fait est que je ne lance pas mes threads dans le module principal. Les threads sont gérés dans un module séparé au sein d’une classe.

EDIT : En passant, ce code fonctionne correctement sur Ubuntu. Pas tout à fait sur les fenêtres

RuntimeError: 
            Attempt to start a new process before the current process
            has finished its bootstrapping phase.
            This probably means that you are on Windows and you have
            forgotten to use the proper idiom in the main module:
                if __== '__main__':
                    freeze_support()
                    ...
            The "freeze_support()" line can be omitted if the program
            is not going to be frozen to produce a Windows executable.

Mon code d'origine est assez long, mais j'ai pu reproduire l'erreur dans une version abrégée du code. Il est divisé en deux fichiers, le premier est le module principal et ne fait que importer le module qui gère les processus/threads et appelle une méthode. Le deuxième module est où la viande du code est.

testMain.py:

import parallelTestModule

extractor = parallelTestModule.ParallelExtractor()
extractor.runInParallel(numProcesses=2, numThreads=4)

parallelTestModule.py:

import multiprocessing
from multiprocessing import Process
import threading

class ThreadRunner(threading.Thread):
    """ This class represents a single instance of a running thread"""
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        print self.name,'\n'

class ProcessRunner:
    """ This class represents a single instance of a running process """
    def runp(self, pid, numThreads):
        mythreads = []
        for tid in range(numThreads):
            name = "Proc-"+str(pid)+"-Thread-"+str(tid)
            th = ThreadRunner(name)
            mythreads.append(th) 
        for i in mythreads:
            i.start()
        for i in mythreads:
            i.join()

class ParallelExtractor:    
    def runInParallel(self, numProcesses, numThreads):
        myprocs = []
        prunner = ProcessRunner()
        for pid in range(numProcesses):
            pr = Process(target=prunner.runp, args=(pid, numThreads)) 
            myprocs.append(pr) 
#        if __== 'parallelTestModule':    #This didnt work
#        if __== '__main__':              #This obviously doesnt work
#        multiprocessing.freeze_support()        #added after seeing error to no avail
        for i in myprocs:
            i.start()

        for i in myprocs:
            i.join()
pythonwindowsmultiprocessing
76
NG Algo

Sous Windows, les sous-processus vont importer (c'est-à-dire exécuter) le module principal au démarrage. Vous devez insérer un if __== '__main__': garde dans le module principal pour éviter la création récursive de sous-processus.

Modifié testMain.py:

import parallelTestModule

if __== '__main__':    
    extractor = parallelTestModule.ParallelExtractor()
    extractor.runInParallel(numProcesses=2, numThreads=4)
107
Janne Karila

Essayez de placer votre code dans une fonction principale de testMain.py.

import parallelTestModule

if __==  '__main__':
  extractor = parallelTestModule.ParallelExtractor()
  extractor.runInParallel(numProcesses=2, numThreads=4)

Voir le docs :

"For an explanation of why (on Windows) the if __== '__main__' 
part is necessary, see Programming guidelines."

qui dit

"Assurez-vous que le module principal peut être importé en toute sécurité par un nouvel interpréteur Python sans provoquer d’effets secondaires inattendus (comme le démarrage d’un nouveau processus)."

... en utilisant if __== '__main__'

19
doctorlove

Bien que les réponses précédentes soient correctes, il y a une petite complication sur laquelle il serait utile de faire une remarque.

Si votre module principal importe un autre module dans lequel des variables globales ou des variables de membre de classe sont définies et initialisées (ou à l'aide de) nouveaux objets, vous devrez peut-être conditionner cette importation de la même manière:

if __==  '__main__':
  import my_module
4
Ofer