web-dev-qa-db-fra.com

spark-streaming-kafka

Spark Streaming - lecture et écriture sur Kafka topic

Limiter la taille des lots Kafka lors de l'utilisation de Spark Streaming

La valeur du paramètre "spark.yarn.executor.memoryOverhead"?

Kafka Consumer - Comportement du sondage

Kafka politique de rétention et de suppression optimale

Kafka producteur TimeoutException: expiration 1 enregistrement (s)

Kafka python API prend-il en charge le traitement des flux?

Kafka: Le message une fois sérialisé est plus grand que la taille de requête maximale que vous avez configurée avec la configuration max.request.size

Comment obtenir Kafka décalages pour une requête structurée pour une gestion manuelle et fiable des décalages?

Spark DataFrame: groupBy après orderBy maintient-il cet ordre?

Spark structurée en continu - joignez un ensemble de données statiques à un ensemble de données en continu

Spark Streaming + Kafka: SparkException: impossible de trouver les décalages de chef pour Set

Spark: traitement de plusieurs kafka rubrique en parallèle

Spark streaming structuré kafka convertir JSON sans schéma (inférer le schéma)

Intégration de la diffusion structurée Spark au registre de schémas Confluent

AbstractMethodError création Kafka stream

Diffusion vidéo en direct d'un téléphone Android à un autre via WiFi

Créez une application de diffusion en direct pour Android

DIY: serveur de streaming vidéo

Comment écrire un fichier dans Kafka Producer

Comment obtenir le dernier décalage d'une partition pour une rubrique kafka?

Kafka prend-il en charge la messagerie de demande de réponse?

Comment créer des sujets dans Apache Kafka?

Kafka lève une exception Java.nio.channels.ClosedChannelException

Sujets, partitions et clés

Comprendre Kafka Sujets et partitions

Kafka - différence entre le décalage de fin de journal (LEO) et le filigrane élevé (HW)

Spring Boot Kafka: impossible de démarrer le consommateur en raison de NoSuchBeanDefinitionException

Kafka exception du consommateur et validations de décalage

Kafka: API de consommateurs vs API de flux

Spring Kafka Consumer Retry

org.Apache.kafka.common.KafkaException: échec de la construction kafka consumer

Comment connecter Kafka avec Elasticsearch?

kafka a-t-il une interface utilisateur Web par défaut

Comment choisir le nombre de partitions pour une rubrique kafka?

Kafka Streams avec botte de printemps

Spring Kafka test d'intégration Erreur lors de l'écriture dans un fichier highwatermark

kafka authentification échouée en raison de: SSL Handshake a échoué

Quand utiliser ConcurrentKafkaListenerContainerFactory?

Kafka reconnexion de consommation après avoir été déconnecté

Comment réparer KAFKA.COMMON.Errors.TimeoutException: Expiration 1 Enregistrement (s) XXX MS a passé depuis la création par lots plus le temps d'attentat

Kafka Msg VS REST Appels

Comment vérifier par programme si Kafka Broker est opérationnel dans Python

Comment envoyer des messages clé, valeur avec le producteur de console kafka

Comment optimiser le déversement aléatoire dans Apache Spark application

Drop spark dataframe from cache

Spark Mémoire du pilote et mémoire de l'exécuteur

Comment rafraîchir une table et le faire simultanément?

Pourquoi le format ("kafka") échoue-t-il avec "Impossible de trouver la source de données: kafka" (même avec uber-jar)?

Spark Le streaming structuré convertit automatiquement l'horodatage en heure locale

Collectez les lignes sous forme de liste avec le groupe par Apache spark

IBM MQ vs Apache Kafka

Comment convertir un RDD avec une colonne SparseVector en un DataFrame avec une colonne en tant que vecteur

Encoder et assembler plusieurs fonctionnalités dans PySpark

Erreur du codeur lors de la tentative de mappage de la ligne dataframe sur la ligne mise à jour

Spark 2.0 Dataset vs DataFrame

Performances du filtre Spark DataSet

Comment préparer des données au format LibSVM à partir de DataFrame?

Encodeur pour le type de ligne Spark Datasets

Comment changer la casse de la colonne entière en minuscule?

convertir des données au format libsvm

Nom de la colonne avec un point spark

Quels sont les différents types de jointure dans Spark?

Données de partition pour une jonction efficace pour Spark dataframe / dataset

Pourquoi le démarrage de StreamingContext échoue avec «IllegalArgumentException: l'exigence a échoué: aucune opération de sortie enregistrée, donc rien à exécuter»?

java.lang.NoClassDefFoundError: org/Apache/spark/streaming/Twitter/TwitterUtils $ lors de l'exécution de TwitterPopularTags

Une jointure de RDD partitionnés provoque-t-elle un brassage dans Apache Spark?

Spark utilisant python: comment résoudre l'étape x contient une tâche de très grande taille (xxx Ko). La taille de tâche maximale recommandée est de 100 Ko

Condition dans la fonction de carte

Utilisez Spring avec Spark

Comment arrêter un travail de streaming spark?

Comment utiliser les deux Scala et Python dans un même projet Spark?

Comment puis-je mettre à jour une variable de diffusion dans spark streaming?

Comment spécifier plusieurs dépendances en utilisant --packages pour spark-submit?

Quelle est la signification de la fonction DStream.foreachRDD?

build.sbt: comment ajouter des dépendances spark

Comment réparer la réinitialisation de la connexion par le message d'homologue d'Apache-spark?

lecture du fichier json dans pyspark

Comment savoir quelle est la raison de l'exception ClosedChannelException avec spark-shell en mode client YARN?

Les requêtes avec des sources de streaming doivent être exécutées avec writeStream.start ();

Pourquoi l'application Spark échoue-t-elle avec "ClassNotFoundException: Impossible de trouver la source de données: kafka" en tant qu'uber-jar avec l'assembly sbt?

Différence entre la mémoire utilisée, validée et maximale

comment puis-je supprimer des fichiers dans le répertoire hdfs après l'avoir lu avec l'aide de scala

Comment obtenir la sortie du collecteur de streaming de la console dans Zeppelin?

Erreur de test SBT: Java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream

Comment insérer un flux structuré en flux continu DataFrame vers Hive table/emplacement externe?

Meilleure façon de diffuser des fichiers en ASP.NET

Diffusion en direct HTTP, FFMPEG & FFSERVER et iPhone OS 3

Streaming vidéo de la caméra Android au serveur

Comment puis-je lire un flux shoutcast/icecast avec HTML5?

Streaming audio d'un serveur Node.js vers la balise <audio> HTML5

Quelle est la différence entre RTP ou RTSP dans un serveur de streaming?

Diffusez des vidéos en direct d'un téléphone à un autre à l'aide de la prise fd

Pourquoi MediaPlayer d'Android a-t-il mis si longtemps à préparer certains flux en direct pour la lecture?

Streaming HTTP LIve

Comment réduire le délai - Streaming VLC à partir d'une webcam

Incorporation d'un flux RTSP en direct de vidéo H.264 dans une page Web

diffuser de la vidéo en direct sur Android

Comment empêcher IDM de récupérer de la vidéo/de l'audio

Recevez de l'audio via Bluetooth en Android