Como adicionar uma coluna Mapa em Spark conjunto de dados?

votos
0

Eu tenho um Java Mapvariável, digamos Map<String, String> singleColMap. I quiser adicionar este Mapvariável para um conjunto de dados como um novo valor de coluna na ignição 2.2 (Java 1.8).

Eu tentei o código abaixo, mas ele não está funcionando:

ds.withColumn(cMap, lit(singleColMap).cast(MapType(StringType, StringType)))

Alguém pode ajudar nisso?

Publicado 20/09/2018 em 04:21
fonte usuário
Em outras línguas...                            


1 respostas

votos
1

Você pode usar o typedLitque foi introducted em faísca 2.2.0 , a partir da documentação:

A diferença entre essa função e lit é que esta função pode lidar com tipos scala parametrizados por exemplo: List, Seq e Mapa.

Portanto, neste caso, o seguinte deve ser suficiente

ds.withColumn("cMap", typedLit(singleColMap))
Respondeu 20/09/2018 em 04:49
fonte usuário

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more