Je veux configurer le cluster scrapy suivre ce lien scrapy-cluster , Tout va bien avant d’exécuter cette commande:
pip install -r requirements.txt
Le fichier Requirements.txt ressemble à ceci:
cffi==1.2.1
characteristic==14.3.0
ConcurrentLogHandler>=0.9.1
cryptography==0.9.1
...
J'imagine que la commande ci-dessus signifie l'installation de packages dans exigences.txt.Mais je ne veux pas qu'elle spécifie la version, je la change donc en ceci:
cat requirements.txt | while read line; do pip install ${line%%[>=]*} --user;done
Lors de l’installation de la cryptographie, cela me donne l’erreur:
build/temp.linux-x86_64-2.7/_openssl.c:12:24:fatal error:pyconfig.h:No such file or directory
#include <pyconfig.h>
Je ne sais pas comment résoudre ce problème, j'ai essayé beaucoup de méthodes, mais j'ai échoué. mon système est centos 7 et la version de python est 2.7.5 (valeur par défaut) . De plus, existe-t-il un autre cadre grattable applicable à un grand nombre d'URL? Merci d'avance
Pour Ubuntu, python2
apt-get install python-dev
Pour Ubuntu, python3
apt-get install python3-dev
Je l'ai résolu par moi-même. pour le python par défaut de centos, il n’existe qu’un fichier nommé pyconfg-64.h dans usr/include/python2.7 /, lancez donc la commande
yum install python-devel
Alors ça marche.
pour python3.6,
apt-get install python3.6-dev
et
apt-get install libssl-dev libffi-dev
j'utilise Python 2 sur Ubuntu et j'ai le même problème lors de l'installation de la cryptographie.
apt-get install python-dev libssl-dev libffi-dev
alors ça marche.