Kafka com faísca streaming de erro de integração

votos
0

Eu não sou capaz de executar Kafka com faísca-streaming. A seguir estão os passos que eu tomei até agora:

  1. O download do jararquivo acender-streaming-kafka-0-8-assembly_2.10-2.2.0.jar e mudou-se para/home/ec2-user/spark-2.0.0-bin-hadoop2.7/jars

  2. Adicionado essa linha para /home/ec2-user/spark-2.0.0-bin-hadoop2.7/conf/spark-defaults.conf.template->spark.jars.packages org.apache.spark:spark-streaming-kafka-0-8-assembly_2.10:2.2.0

Kafka Versão: kafka_2.10-0.10.2.2

versão do arquivo jar: faísca-streaming-kafka-0-8-assembly_2.10-2.2.0.jar

Código Python:

os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8-assembly_2.10-2.2.0 pyspark-shell' 
kvs = KafkaUtils.createDirectStream(ssc, [divolte-data], {metadata.broker.list: localhost:9092})

Mas eu ainda estou recebendo o seguinte erro:

Py4JJavaError: An error occurred while calling o39.createDirectStreamWithoutMessageHandler.
: java.lang.NoClassDefFoundError: Could not initialize class kafka.consumer.FetchRequestAndResponseStatsRegistry$
    at kafka.consumer.SimpleConsumer.<init>(SimpleConsumer.scala:39)
    at org.apache.spark.streaming.kafka.KafkaCluster.connect(KafkaCluster.scala:59)

O que estou fazendo de errado?

Publicado 08/11/2018 em 06:47
fonte usuário
Em outras línguas...                            


1 respostas

votos
0

spark-defaults.conf.templateé apenas uma modelo, e não lido por Spark, portanto, seus JARs não será carregado. Você deve copiar / renomear esse arquivo para remover o sufixo de modelo

Você também vai precisar fazer o download faísca 2.2 se você quiser usar esses arquivos JAR específicos.

E certifique-se de que a sua versão faísca usa Scala 2.10 se esse é o pacote de Kafka que deseja usar. Caso contrário, use 2.11 versão

Respondeu 09/11/2018 em 15:20
fonte usuário

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more