Importar lista imensa de objetos para banco de dados. Qual a melhor implementação?

23 de fevereiro de 2012 9 respostas

prog.tiago 23 de fevereiro de 2012

Bom dia desenvolvedores!!

Uma dúvida: Tenho uma planilha imensa (126000 linhas) para importar para o banco, imaginem uma planilha de dados cadastrais, com nome, rg, cpf, etc…

Eu estou fazendo um foreach, varrendo cada linha da planilha, gerando um objeto com os dados daquela linha (por exemplo Pessoa), e persistindo no banco usando Hibernate.

O que percebo? As primeiras 1000 linhas demoram cerca de 20s para serem persistidas, quando chego na linha 6000 por exemplo, o mesmo milheiro demora cerca de 3 minutos. Fico imaginando quanto tempo demorará para terminar as 126000. E se fosse uma planilha com 500000 linhas? hehe

Como vocês fazem nesses casos? Acho que a forma como estou fazendo não é a mais adequada! Mas de certa forma, é melhor persistir objetos determinados do que apenas Strings… Bem, o que me sugerem para não perder tanto em desempenho como está ocorrendo?

Abraços

9 Respostas

entanglement 23 de fev. de 2012

A consulta mágica no Google é “hibernate bulk insert”.

O que ela me retornou como primeiro hit:

http://docs.jboss.org/hibernate/orm/3.3/reference/en/html/batch.html

Você pode consultar o resto também - não testei absolutamente nenhuma das sugestões do Google.

fabiocsilva 23 de fev. de 2012

Se for uma inserção eventual, tenta utilizar alguma ferramenta para importar diretamente no banco de dados. Na pior das hipóteses, escreve uma query nativa ao invés de criar 126000 objetos…

wilsontads 23 de fev. de 2012

Cara recentemente precisei fazer algo parecido, vim aqui no fórum e segui as dicas do Viny, que era usar o executeBatch(), onde no meu caso eu armazeno os registros à serem inseridos em pacotes de 100, para evitar sobrecarga no banco, e conseguir uma performance melhor, mais a quantidade depende da sua necessidade.
Segue exemplo do uso deste:

juliocbq 23 de fev. de 2012

Esse seu tópico é bem interessante tiago.
Concordo com a alternativa do entanglement.

wilsontads 23 de fev. de 2012

//...Códigos anteriores
int x =0;
            PreparedStatement ps = getPreparedStatement(sqlinsercao);
            
            while (/*Linhas*/) {
                ps.setObject(POSICAO, valor);
                ps.addBatch();
                x++;                
                if (x == 100) {                    
                    ps.executeBatch();
                    x=0;
                }
            }
            
        } catch (Exception ex) {
            throw new Exception("Erro migrar registros" + ex.getMessage());
        } finally {
            ps.executeBatch();
        }
//..Continua

prog.tiago 23 de fev. de 2012

Olá amigos,

Gostei das respostas, de fato esse assunto é muito interessante.

Vou testar e já já posto minhas considerações

GodZilla_XF 23 de fev. de 2012

prog.tiago:
Bom dia desenvolvedores!!

Uma dúvida: Tenho uma planilha imensa (126000 linhas) para importar para o banco, imaginem uma planilha de dados cadastrais, com nome, rg, cpf, etc…

Eu estou fazendo um foreach, varrendo cada linha da planilha, gerando um objeto com os dados daquela linha (por exemplo Pessoa), e persistindo no banco usando Hibernate.

O que percebo? As primeiras 1000 linhas demoram cerca de 20s para serem persistidas, quando chego na linha 6000 por exemplo, o mesmo milheiro demora cerca de 3 minutos. Fico imaginando quanto tempo demorará para terminar as 126000. E se fosse uma planilha com 500000 linhas? hehe

Como vocês fazem nesses casos? Acho que a forma como estou fazendo não é a mais adequada! Mas de certa forma, é melhor persistir objetos determinados do que apenas Strings… Bem, o que me sugerem para não perder tanto em desempenho como está ocorrendo?

Abraços

Olá, este tópico tem relação com sua duvida, quem sabe pode ajudar.

http://www.guj.com.br/java/253279-problemas-com-muitos-objetos-em-listas-java-heap-space#1317004

GilsonNunes 24 de fev. de 2012

//...Códigos anteriores  
int x =0;  
            PreparedStatement ps = getPreparedStatement(sqlinsercao);  
              
            while (/*Linhas*/) {  
                ps.setObject(POSICAO, valor);  
                ps.addBatch();  
                x++;                  
                if (x == 100) {                      
                    ps.executeBatch();  
                    x=0;  
                }  
            }  
            ps.executeBatch();  //acho q esse deveria ser aki
              
        } catch (Exception ex) {  
            throw new Exception("Erro migrar registros" + ex.getMessage());  
        }  
//..Continua

PuRgAuM 24 de fev. de 2012

Cara tem uma ferramenta open source da Pentaho. O nome dela é Kettle.
Não precisa instalar é só fazer download e executar tipo o eclipse.
A hora que abrir você cria uma nova transformação arrasta a entrada como um arquivo de excel e a saida como uma tabela de banco de dados, configura a conexão e manda rodar.
Eu uso isso aqui pra fazer importação de uma base de dados para outra… e olha que tem tabelas bem grandinhas… com mais de 10 milhões de registros.

Essa na verdade é uma ferramenta de ETL então é bem completa pra esse tipo de coisa.

Criado 23 de fevereiro de 2012

Ultima resposta 24 de fev. de 2012

Respostas 9

Participantes 8

9 Respostas

Topicos relacionados