Como Carregar Muitos Registros Rapidamente

JavaBaby Membro desde: 19/01/2011 11:09:04 Mensagens: 78 Offline

Pessoal, uma grande dúvida que precisa de uma enorme ajuda.
O sistema precisa carregar mais de 1 milhão de registros, e a menor tabela tem 8 colunas, como carregar tudo isso em tempo hábil. Como projetar algo que seja rápido e na hora de carregar tantos registros assim??????

Precisa carregar isso tudo? Nenhum ser humano consegue ler tantas informações.
Se for para exibir em alguma tela, pense em usar paginação.

Se for para algo diferente nos comente mais sobre o contexto.

O sistema precisa carregar mais de 1 milhão de registros, e a menor tabela tem 8 colunas, como carregar tudo isso em tempo hábil. Como projetar algo que seja rápido e na hora de carregar tantos registros assim??????

A primeira pergunta é: Tem certeza que vc precisa carregar tudo de uma vez só?Eu mesmo tenho um sistema aqui que carrega 50 mil linhas com 50 colunas(7 segundos num i5 mobile-Oracle 10g usando executeBatch ), mas na versão de produção os dados já estarão inseridos.
Sei de alguns sistemas que precisam de zilhões de coordenadas para fazer cálculos em tempo real(sem contar financeiros e científicos), mas a que atende o seu sistema?

JavaBaby Membro desde: 19/01/2011 11:09:04 Mensagens: 78 Offline

RafaelViana wrote:Precisa carregar isso tudo? Nenhum ser humano consegue ler tantas informações.
Se for para exibir em alguma tela, pense em usar paginação.

Se for para algo diferente nos comente mais sobre o contexto.

infelizmente peciso sim, carregar tudo isso, até estou emplementando paginação com jsf usando dataModel essas coisas. O tempo de resposta até diminuiu um pouco.

Você tem alguma sugestão?

JavaBaby Membro desde: 19/01/2011 11:09:04 Mensagens: 78 Offline

Ironlynx wrote:

O sistema precisa carregar mais de 1 milhão de registros, e a menor tabela tem 8 colunas, como carregar tudo isso em tempo hábil. Como projetar algo que seja rápido e na hora de carregar tantos registros assim??????

A primeira pergunta é: Tem certeza que vc precisa carregar tudo de uma vez só?Eu mesmo tenho um sistema aqui que carrega 50 mil linhas com 50 colunas(7 segundos num i5 mobile-Oracle 10g usando executeBatch ), mas na versão de produção os dados já estarão inseridos.
Sei de alguns sistemas que precisam de zilhões de coordenadas para fazer cálculos em tempo real(sem contar financeiros e científicos), mas a que atende o seu sistema?

Caraca, sério mesmo, me conta como faz isso, que tecnologia utiliza, preciso reduzir um pouco o tempo de resposta, na verdade a query tem alguns calculos como CASE, DATEDIF, COLAESCE essas coisas. Por enquanto está carregando 290000 registros.

Notícias, artigos e o maior fórum brasileiro sobre Java