Manipulação de conjuntos de dados grandes (Neo4j, mongo db, hadoop)

votos
4

Estou à procura de melhores práticas para lidar com dados. Então, isso é o que eu tenho até agora: 1.000.000 nós do tipo A. Cada A nodo pode ser ligado a 1-1000 nós do tipo B e 1-10 nodos de tipo C.

Eu escrevi um serviço RESTful (Java, Jersey) para importar dados para um gráfico Neo4j. Depois da importação de nodos A (apenas os nós, com ids, não há mais dados) i tem avisos que o db Neo4j tem crescido a ~ 2.4GB.

É uma boa idéia para armazenar campos adicionais (nome, descrição, ...) em Neo4j? Ou eu deveria criar um mongoDB / Hadoop usar uma combinação chave / valor para o acesso de dados?

Publicado 14/11/2011 em 09:10
fonte usuário
Em outras línguas...                            


1 respostas

votos
2

Você excluiu um monte de nós durante a inserção? Normalmente um nó tem 9 bytes no disco, para que seus nódulos 1M deve apenas tomar bytes 9M. Você tem que permitir a reutilização id para recuperar agressivamente memória.

Poderia, por favor listar o conteúdo do seu diretório de dados com os tamanhos dos arquivos?

Em geral, não é problema para colocar seus outros campos em Neo4j se eles não são grandes campos blob.

Como você criou o banco de dados?

Respondeu 14/11/2011 em 10:05
fonte usuário

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more