Tensorflow: Dataset Mapa Com num_parallel_calls não oferece Speedup

votos
1

Estou usando TensorFlow ea tf.data.DatasetAPI para realizar algum pré-processamento de texto. Sem usar num_parallel_callsna minha dataset.mapchamada, é preciso 0,03s aos registros pré-processar 10K.

Quando eu uso num_parallel_trials=8(o número de núcleos em minha máquina), ele também tem 0,03s aos registros pré-processar 10K.

Eu pesquisei ao redor e me deparei com este: Paralelismo não está reduzindo o tempo no mapa conjunto de dados

onde eles indicam que você precisa usar operações TensorFlow ver um aumento de velocidade. Aqui está a coisa: eu estou usando apenas TensorFlow operações. Especificamente, eu estou mapeando esta função:

def preprocess(self, x, data_table):
    x['reviews'] = tf.string_split(x['reviews'], delimiter=' ')
    x['reviews'] = tf.sparse_tensor_to_dense(x['reviews'], default_value=' ')
    x['reviews'] = tf.cast(data_table.lookup(x['reviews']), tf.int32)
    nbatch = tf.cast(tf.shape(x['reviews'])[0], tf.int32)
    nseq = tf.cast(tf.shape(x['reviews'])[1], tf.int32)
    padding = tf.cond(tf.less(nseq, 100),
                      lambda: 0 * tf.ones([nbatch, 100 - nseq], tf.int32),
                      lambda: 0 * tf.ones([nbatch, 0], tf.int32))
    x['reviews'] = tf.concat((x['reviews'], padding), axis=1)[:, :100]
    x['reviews'].set_shape([None, 100])
    return x

Qualquer idéia porque eu não vejo nenhum aumento de velocidade?

Obrigado!

Publicado 27/11/2018 em 18:09
fonte usuário
Em outras línguas...                            


1 respostas

votos
0

Minha primeira suposição seria as chamadas para lambda estão esmagando sua velocidade como inicialização lenta para cada iteração e núcleo. De acordo com este url ele tem um problema semelhante a velocidade e uso do núcleo. Existe uma maneira de usar tensorflow map_fn na GPU? Eu sou praticamente um novato com tensor e tubulações, mas eu vou olhar para mais tarde, quando eu tenho acesso a computador, eu gostaria de saber o que executáveis estão sendo executados onde embora.

Respondeu 29/11/2018 em 23:21
fonte usuário

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more