Le moyen le plus simple d'obtenir des données d'AWS mysql RDS vers AWS Elasticsearch?
J'ai des données dans un AWS RDS, et je voudrais les transférer vers une instance AWS ES, de préférence une mise à jour toutes les heures, ou similaire.
Sur ma machine locale, avec une base de données mysql locale et une base de données Elasticsearch, il était facile de configurer cela à l'aide de Logstash.
Existe-t-il une façon AWS "native" de faire la même chose? Ou dois-je configurer un serveur EC2 et y installer Logstash moi-même?
Vous pouvez réaliser la même chose avec votre Logstash local, il suffit de pointer votre entrée jdbc vers votre base de données RDS et la sortie elasticsearch vers votre instance AWS ES. Si vous devez l'exécuter régulièrement, alors oui, vous devez configurer une petite instance pour exécuter Logstash dessus.
Une solution AWS plus "native" pour réaliser la même chose comprendrait l'utilisation de Amazon Kinesis et AWS Lambda .
Voici un bon article expliquant comment tout connecter ensemble, à savoir:
- comment diffuser des données RDS dans un flux Kinesis
- configuration d'une fonction Lambda pour gérer le flux
- Poussez les données vers votre instance AWS ES
Jetez un œil à Amazon DMS. Il est généralement utilisé pour les migrations de base de données, mais il prend également en charge la réplication de données continue. Cela pourrait simplifier le processus et être rentable.
Vous pouvez utiliser AWS Database Migration Service pour effectuer une réplication de données continue. La réplication de données continue comporte une multitude de cas d'utilisation, notamment la synchronisation des instances de récupération après sinistre, la distribution de la base de données géographiques et la synchronisation de l'environnement Dev/Test. Vous pouvez utiliser DMS pour les réplications de données homogènes et hétérogènes pour tous les moteurs de base de données pris en charge. Les bases de données source ou de destination peuvent être situées dans vos propres locaux en dehors d'AWS, s'exécutant sur une instance Amazon EC2, ou il peut s'agir d'une base de données Amazon RDS. Vous pouvez répliquer les données d'une seule base de données vers une ou plusieurs bases de données cible ou les données de plusieurs bases de données source peuvent être consolidées et répliquées vers une ou plusieurs bases de données cible.