Como encontrar a média de um conjunto de colunas em uma linha de uma trama de dados de pyspark e adicioná-lo como uma outra coluna para a mesma trama de dados?

votos
0

Eu tenho uma trama de dados constituído por 500 colunas fora de que, para cada linha que eu preciso para obter a média do conjunto de colunas que começam com country_.

expr=[F.sum(train_data_df[x])/colCount for x in train_data_df.columns if 'country_' in x]
avg_train_data_df = train_data_df.withColumn('avg', *expr)

Eu recebo a seguinte resposta de erro:

TypeError: withColumn() takes 3 positional arguments but 212 were given

Publicado 19/09/2018 em 13:23
fonte usuário
Em outras línguas...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more