web-dev-qa-db-fra.com

AWS Lambda, enregistrement du fichier S3 dans le répertoire / tmp

Je veux copier un ensemble de fichiers depuis S3 et les mettre dans le répertoire/tmp pendant que ma fonction lambda est en cours d'exécution, pour utiliser et manipuler le contenu. L'extrait de code suivant fonctionne très bien sur mon PC (qui exécute Windows)

s3 = boto3.resource('s3')
BUCKET_NAME = 'car_sentiment'
keys = ['automated.csv', 'connected_automated.csv', 'connected.csv', 
        'summary.csv']
for KEY in keys: 
    try:
        local_file_name = 'tmp/'+KEY
        s3.Bucket(BUCKET_NAME).download_file(KEY, local_file_name)
    except botocore.exceptions.ClientError as e:
        if e.response['Error']['Code'] == "404":
            continue
        else:
            raise

Cependant, lorsque j'essaie de fonctionner sur AWS lambda, j'obtiens:

{
  "errorMessage": "[Errno 2] No such file or directory: 'tmp/automated.csv.4Bcd0bB9'",
  "errorType": "FileNotFoundError",
  "stackTrace": [
    [
      "/var/task/SentimentForAWS.py",
      28,
      "my_handler",
      "s3.Bucket(BUCKET_NAME).download_file(KEY, local_file_name)"
    ],
    [
      "/var/runtime/boto3/s3/inject.py",
      246,
      "bucket_download_file",
      "ExtraArgs=ExtraArgs, Callback=Callback, Config=Config)"
    ],
    [
      "/var/runtime/boto3/s3/inject.py",
      172,
      "download_file",
      "extra_args=ExtraArgs, callback=Callback)"
    ],
    [
      "/var/runtime/boto3/s3/transfer.py",
      307,
      "download_file",
      "future.result()"
    ],
    [
      "/var/runtime/s3transfer/futures.py",
      73,
      "result",
      "return self._coordinator.result()"
    ],
    [
      "/var/runtime/s3transfer/futures.py",
      233,
      "result",
      "raise self._exception"
    ],
    [
      "/var/runtime/s3transfer/tasks.py",
      126,
      "__call__",
      "return self._execute_main(kwargs)"
    ],
    [
      "/var/runtime/s3transfer/tasks.py",
      150,
      "_execute_main",
      "return_value = self._main(**kwargs)"
    ],
    [
      "/var/runtime/s3transfer/download.py",
      582,
      "_main",
      "fileobj.seek(offset)"
    ],
    [
      "/var/runtime/s3transfer/utils.py",
      335,
      "seek",
      "self._open_if_needed()"
    ],
    [
      "/var/runtime/s3transfer/utils.py",
      318,
      "_open_if_needed",
      "self._fileobj = self._open_function(self._filename, self._mode)"
    ],
    [
      "/var/runtime/s3transfer/utils.py",
      244,
      "open",
      "return open(filename, mode)"
    ]
  ]
}

Pourquoi pense-t-il que le nom du fichier est tmp/automated.csv.4Bcd0bB9 plutôt que simplement tmp/automated.csv et comment y remédier? J'ai tiré mes cheveux sur celui-ci, en essayant plusieurs approches, dont certaines génèrent une erreur similaire lors de l'exécution locale sur mon PC. Merci!

python-3.xamazon-web-servicesamazon-s3aws-lambda
4
ViennaMike

Vous devez enregistrer dans /tmp, plutôt que tmp/.

par exemple:

local_file_name = '/tmp/' + KEY
11
John Rotenstein