Dúvida Hibernate - Otimização de inserts no DB  XML
Índice dos Fóruns » Ferramentas, Frameworks e Utilitários
Autor Mensagem
Bruno Lacerda
JavaEvangelist
[Avatar]

Membro desde: 16/07/2007 11:17:52
Mensagens: 371
Localização: Rio de Janeiro
Offline

Olá pessoal!
Estou utilizando o Hibernate 3.2 em um projeto e gostaria de saber se tem uma forma de otimizar a inserção de mais de 1 milhão de registros importados de um arquivo csv.

O processo atual leva mais de 20 minutos para ser concluído.

Andei dando uma olhada em Batch Processing http://www.hibernate.org/hib_docs/reference/en/html/batch.html mas acho que não é bem isso que eu preciso para otimizar este processo.

Alguem poderia me dar uma luz?

Valeu!



A morte do homem começa no instante em que ele desiste de aprender.
pissurno
JavaBaby
[Avatar]

Membro desde: 04/12/2007 13:28:23
Mensagens: 81
Localização: Campo Grande - MS
Offline

Estou com um problema de performanse semelhante... vc consegui otimizar de alguma forma?
[Email] [MSN]
bsl.lacerda
What is classpath?

Membro desde: 20/03/2007 17:10:20
Mensagens: 8
Offline

Olá amigo!

Pelo que eu me lembre, o que eu fiz foi dar flush na sessão do Hibernate conforme uma certa quantidade de registros tivesse sido persistida, No meu caso a cada 20 registros se não me engano.

O código era mais ou menos assim (Vou usar list mas no seu caso vc vai iterar no arquivo csv):



Espero ter ajudado.

[]'s
von.juliano
GUJ Master
[Avatar]

Membro desde: 15/01/2007 13:31:32
Mensagens: 1266
Offline

Ao invés de utilizar Session, utilize StatelessSession.

Blz? Flw!

É difícil manter-se religioso quando algumas pessoas simplesmente não são carbonizadas por raios!

Desenvolvendo software de forma simples! - http://vonjuliano.wordpress.com/
[Email] [WWW]
pissurno
JavaBaby
[Avatar]

Membro desde: 04/12/2007 13:28:23
Mensagens: 81
Localização: Campo Grande - MS
Offline

Obrigado a todos...
implementei a estratégia de batch insert usando flush e clear a cada 1000 registros... estou pensando em fazer um teste usando StatelessSession tb.
Só não sei ao certo ainda como usar StatelessSession em EJB que é o meu caso.
[Email] [MSN]
 
Índice dos Fóruns » Ferramentas, Frameworks e Utilitários
Ir para:   
Powered by JForum 2.1.8 © JForum Team