O que é mais rápido - arquivo txt ou banco de dados - salvar/recuperar valores

Pessoal, eu tenho um arquivo bem brande (~92GB) e estou quebrando ele em pequenas partes, para depois unir as mesmas de acordo com a ordem que o usuário escolher.
Estou preocupado com a performance, visto que o arquivo é bem grande.

O que é melhor (mais rápido)?
Salvar cada parte em um arquivo de texto diferente e depois usar um método para ler os arquivos na hora de juntar tudo?
Ou ir salvando as partes em um banco de dados (tabela) e depois acessar cada linha do banco para juntar tudo?

Mais simples: o que é mais rápido: arquivos de texto ou banco de dados
OBS: para mim parece óbvio que o mais rápido é o arquivo txt, visto que o BD também usa arquivos para salvar os dados, mas não custa nada perguntar

OBS: Qual banco de dados devo usar se essa for a melhor escolha: HSQLDB, PostgreSQL, MySQL ou outro?

GUJ Master Membro desde: 29/05/2008 14:09:28 Mensagens: 1618 Offline

RAPAZ!!!!! Como que um amontoado de caracteres pode ser mais rápido que estruturas de dados e índices ?

Melhor eh banco de dados. Menos dor d cabec a agora e no futuro e desempenho e facilidade maiores.
Use txt em casos especificos só...

Sem dúvidas o melhor é Banco de Dados.

Abraços!

GUJ Master Membro desde: 21/06/2007 23:27:21 Mensagens: 1850 Offline

Explique um pouco mais o seu problema..

Quantas partes de arquivos serão... e qual o tamanho delas?

O algoritimo para ordenar de acordo com o que o cliente quer é complicado?

Pelo que eu estou imaginando que seja o seu problema.. o mais rápido vai ser o TXT

Bem.. se voce acha que pesquisar em arquivos seja melhor do que todo esse investimento milionario em fazer engines e estruturas para bancos de dados por profissionais experientes, então vá em frente. Pelo menos fazer com o Txt voce ia aprender algo novo.

GUJ Master Membro desde: 21/06/2007 23:27:21 Mensagens: 1850 Offline

Se o que vc deseja retornar é só um arquivo txt.. SIM vai ser mais rápido do que usar banco de dados...

Pensem um pouco... o cara só quer retornar um txt.. concatenado

Entao tem grandes chances de ser mais rápido do que usar banco de dados.

Já trabalhei em sistemas que TINHA QUE SER TXT pois banco de dados seria muito lento para o que deveria ser feito. por exemplo...

Então.. a resposta não é um automático.. banco de dados é o melhor.. cada situaçao é uma situação...

Mark_Ameba wrote:Bem.. se voce acha que pesquisar em arquivos seja melhor do que todo esse investimento milionario em fazer engines e estruturas para bancos de dados por profissionais experientes, então vá em frente. Pelo menos fazer com o Txt voce ia aprender algo novo.

Calma aew brother, não precisa vir com 4 pedras. Aposto que já teve alguma dúvida na vida. De qualquer forma, obrigado pela resposta.

Galera, vlw pelas respostas! Muito Obrigado
At+

GUJ Master Membro desde: 21/06/2007 23:27:21 Mensagens: 1850 Offline

alexcostars wrote:

Mark_Ameba wrote:Bem.. se voce acha que pesquisar em arquivos seja melhor do que todo esse investimento milionario em fazer engines e estruturas para bancos de dados por profissionais experientes, então vá em frente. Pelo menos fazer com o Txt voce ia aprender algo novo.

Calma aew brother, não precisa vir com 4 pedras. Aposto que já teve alguma dúvida na vida. De qualquer forma, obrigado pela resposta.

Galera, vlw pelas respostas! Muito Obrigado
At+

Acho sua dúvida bastante pertinente. Você resolveu usar qual estrategia?

bom, concordo com a opinião anterior 'cada caso é um caso'.

Trabalhar com BD pode ser mais dificil no comeco, pq se vc nao souber, tera q aprender a manipular um BD. Mas os beneficios compensarão depois...
Os melhores bd gratuitos p mim sao mysql e post gree
Os comerciais: sql server e oracle.
Não ha o 'melhor' ..va experimentando e vendo o q melhor se adequa as necessidades do projeto.

Eu uso txt para arquivos de configuracao e volumosas extensoes de dados imutaveis e so para visualizacao. Para dados q preciso totalizar, alterar, incluir, pesquisar..: banco de dados.
Fiz um sistema misto tambem, que tem txts naquelas condicoes e outra parte em bd. Os registros do bd relacionados tinham o nome do arquivo, com o detalhamento em txt. Ficou bom e a parte q manipulo mais para totalizar e alterar é em bd. A parte em txt q nao teria mta serventia dentro do bd, nao fez o bd pesar

GUJ Master Membro desde: 21/06/2007 23:27:21 Mensagens: 1850 Offline

Resolveu bem

rogelgarcia wrote:
Acho sua dúvida bastante pertinente. Você resolveu usar qual estrategia?

Banco de dados.
Saí no lucro, pois ele me simplifica bastante a vida. Já que ele é mais rápido (de acordo com a comunidade), porque não usá-lo?

att

Eu concordo com o rogelgarcia, se você não vai fazer pesquisa, não precisa de controle de concorrência, não precisa de recuperação de falhas, então sua aplicação não exije um banco de dados, e o arquivo texto ou binário será mais rápido.

alexcostars wrote:

Mark_Ameba wrote:Bem.. se voce acha que pesquisar em arquivos seja melhor do que todo esse investimento milionario em fazer engines e estruturas para bancos de dados por profissionais experientes, então vá em frente. Pelo menos fazer com o Txt voce ia aprender algo novo.

Calma aew brother, não precisa vir com 4 pedras. Aposto que já teve alguma dúvida na vida. De qualquer forma, obrigado pela resposta.

Galera, vlw pelas respostas! Muito Obrigado
At+

Foi mal aew.. quando eu postei eu vi que ficou meio arrogante mas não consegui deixar mais "leve".
E voce podia dar uma olhada no JFileHelper se quiser trabalhar com txt.

Mark_Ameba wrote:
Foi mal aew.. quando eu postei eu vi que ficou meio arrogante mas não consegui deixar mais "leve".
E voce podia dar uma olhada no JFileHelper se quiser trabalhar com txt.

Tá tranquilo. Apesar de usar o DB, vou dar uma olhada nisso!
abrass

Notícias, artigos e o maior fórum brasileiro sobre Java