web-dev-qa-db-fra.com

L'ajout d'AWS Lambda avec la configuration VPC entraîne un délai d'expiration lors de l'accès à S3

J'essaie d'accéder à S3 et aux ressources sur mon VPC à partir d'AWS Lambda, mais depuis que j'ai configuré mon AWS Lambda pour accéder à VPC, il arrive à expiration lors de l'accès à S3. Voici le code

from __future__ import print_function

import boto3
import logging
import json

print('Loading function')

s3 = boto3.resource('s3')

import urllib

def lambda_handler(event, context):
    logging.getLogger().setLevel(logging.INFO)
    # Get the object from the event and show its content type
    bucket = event['Records'][0]['s3']['bucket']['name']
    key = urllib.unquote_plus(event['Records'][0]['s3']['object']['key']).decode('utf8')
    print('Processing object {} from bucket {}. '.format(key, bucket))
    try:
        response = s3.Object(bucket, key)
        content = json.loads(response.get()['Body'].read())
        # with table.batch_writer() as batch:
        for c in content:
            print('     Processing Item : ID' + str(c['id']))
            # ##################
            # Do custom processing here using VPC resources
            # ##################
    except Exception as e:
        print('Error while processing object {} from bucket {}. '.format(key, bucket))
        print(e)
        raise e

J'ai défini mes sous-réseaux et groupes de sécurité avec des règles de trafic sortant appropriées pour accéder à Internet comme indiqué ci-dessous, mais mon Lambda expire simplement lors de l'accès à S3.

enter image description here

enter image description here

Voici également un échantillon d'entrée de test

# Test Event Configuration
{
  "Records": [
    {
      "awsRegion": "us-east-1",
      "eventName": "ObjectCreated:Put",
      "eventSource": "aws:s3",
      "eventTime": "2016-02-11T19:11:46.058Z",
      "eventVersion": "2.0",
      "requestParameters": {
        "sourceIPAddress": "54.88.229.196"
      },
      "responseElements": {
        "x-amz-id-2": "ljEg+Y/InHDO8xA9c+iz6DTKKenmTaGE9UzHOAabarRmpDF1z0eUJBdpGi37Z2BU9nbTh4p7oZg=",
        "x-amz-request-id": "3D98A2325EC127C6"
      },
      "s3": {
        "bucket": {
          "arn": "arn:aws:s3:::social-gauge-data",
          "name": "social-gauge-data",
          "ownerIdentity": {
            "principalId": "A1NCXDU7DLYS07"
          }
        },
        "configurationId": "b5540417-a0ac-4ed0-9619-8f27ba949694",
        "object": {
          "eTag": "9c5116c70e8b3628380299e39e0e9d33",
          "key": "posts/test/testdata",
          "sequencer": "0056BCDCF1F544BD71",
          "size": 72120
        },
        "s3SchemaVersion": "1.0"
      },
      "userIdentity": {
        "principalId": "AWS:AROAIUFL6WAMNRLUBLL3K:AWSFirehoseDelivery"
      }
    }
  ]
}
amazon-web-servicesamazon-s3aws-lambdaamazon-vpc
31
blueskin

Une fois que vous avez activé la prise en charge des VPC dans Lambda, votre fonction n'a plus accès à rien en dehors de votre VPC, y compris S3. Avec S3 en particulier, vous pouvez utiliser VPC Endpoints pour résoudre ce problème. Pour à peu près tout autre élément en dehors de votre VPC, vous devez créer une instance NAT ou une passerelle managée NAT dans votre VPC pour acheminer le trafic à partir de vos fonctions Lambda aux points de terminaison en dehors de votre VPC.

Je voudrais lire le annonce de support Lambda VPC , et porter une attention particulière à la section "Choses à savoir" à la fin.

45
Mark B