Importar lista imensa de objetos para banco de dados. Qual a melhor implementação?

Programação Java
#1

Bom dia desenvolvedores!!

Uma dúvida: Tenho uma planilha imensa (126000 linhas) para importar para o banco, imaginem uma planilha de dados cadastrais, com nome, rg, cpf, etc…

Eu estou fazendo um foreach, varrendo cada linha da planilha, gerando um objeto com os dados daquela linha (por exemplo Pessoa), e persistindo no banco usando Hibernate.

O que percebo? As primeiras 1000 linhas demoram cerca de 20s para serem persistidas, quando chego na linha 6000 por exemplo, o mesmo milheiro demora cerca de 3 minutos. Fico imaginando quanto tempo demorará para terminar as 126000. E se fosse uma planilha com 500000 linhas? hehe

Como vocês fazem nesses casos? Acho que a forma como estou fazendo não é a mais adequada! Mas de certa forma, é melhor persistir objetos determinados do que apenas Strings… Bem, o que me sugerem para não perder tanto em desempenho como está ocorrendo?

Abraços

#2

A consulta mágica no Google é “hibernate bulk insert”.

O que ela me retornou como primeiro hit:

http://docs.jboss.org/hibernate/orm/3.3/reference/en/html/batch.html

Você pode consultar o resto também - não testei absolutamente nenhuma das sugestões do Google.

#3

Se for uma inserção eventual, tenta utilizar alguma ferramenta para importar diretamente no banco de dados. Na pior das hipóteses, escreve uma query nativa ao invés de criar 126000 objetos…

#4

Cara recentemente precisei fazer algo parecido, vim aqui no fórum e segui as dicas do Viny, que era usar o executeBatch(), onde no meu caso eu armazeno os registros à serem inseridos em pacotes de 100, para evitar sobrecarga no banco, e conseguir uma performance melhor, mais a quantidade depende da sua necessidade.
Segue exemplo do uso deste:

#5

Esse seu tópico é bem interessante tiago.
Concordo com a alternativa do entanglement.

#6 
//...Códigos anteriores
int x =0;
            PreparedStatement ps = getPreparedStatement(sqlinsercao);
            
            while (/*Linhas*/) {
                ps.setObject(POSICAO, valor);
                ps.addBatch();
                x++;                
                if (x == 100) {                    
                    ps.executeBatch();
                    x=0;
                }
            }
            
        } catch (Exception ex) {
            throw new Exception("Erro migrar registros" + ex.getMessage());
        } finally {
            ps.executeBatch();
        }
//..Continua
#7

Olá amigos,

Gostei das respostas, de fato esse assunto é muito interessante.

Vou testar e já já posto minhas considerações

#8

[quote=prog.tiago]Bom dia desenvolvedores!!

Uma dúvida: Tenho uma planilha imensa (126000 linhas) para importar para o banco, imaginem uma planilha de dados cadastrais, com nome, rg, cpf, etc…

Eu estou fazendo um foreach, varrendo cada linha da planilha, gerando um objeto com os dados daquela linha (por exemplo Pessoa), e persistindo no banco usando Hibernate.

O que percebo? As primeiras 1000 linhas demoram cerca de 20s para serem persistidas, quando chego na linha 6000 por exemplo, o mesmo milheiro demora cerca de 3 minutos. Fico imaginando quanto tempo demorará para terminar as 126000. E se fosse uma planilha com 500000 linhas? hehe

Como vocês fazem nesses casos? Acho que a forma como estou fazendo não é a mais adequada! Mas de certa forma, é melhor persistir objetos determinados do que apenas Strings… Bem, o que me sugerem para não perder tanto em desempenho como está ocorrendo?

Abraços
[/quote]

Olá, este tópico tem relação com sua duvida, quem sabe pode ajudar.

http://www.guj.com.br/java/253279-problemas-com-muitos-objetos-em-listas-java-heap-space#1317004

#9

[code]//…Códigos anteriores
int x =0;
PreparedStatement ps = getPreparedStatement(sqlinsercao);

        while (/*Linhas*/) {  
            ps.setObject(POSICAO, valor);  
            ps.addBatch();  
            x++;                  
            if (x == 100) {                      
                ps.executeBatch();  
                x=0;  
            }  
        }  
        ps.executeBatch();  //acho q esse deveria ser aki
          
    } catch (Exception ex) {  
        throw new Exception("Erro migrar registros" + ex.getMessage());  
    }

//…Continua [/code]

#10

Cara tem uma ferramenta open source da Pentaho. O nome dela é Kettle.
Não precisa instalar é só fazer download e executar tipo o eclipse.
A hora que abrir você cria uma nova transformação arrasta a entrada como um arquivo de excel e a saida como uma tabela de banco de dados, configura a conexão e manda rodar.
Eu uso isso aqui pra fazer importação de uma base de dados para outra… e olha que tem tabelas bem grandinhas… com mais de 10 milhões de registros.

Essa na verdade é uma ferramenta de ETL então é bem completa pra esse tipo de coisa.

2012/2/24/abccbab9751f6f28c473c27fd00a968d_55498.png_1194×361 93.3 KB

#11