Banco de dados x Excel

Olá Pessoal
Aonde trabalho temos várias bases de dados, parte delas no formato Excel e outras no txt mesmo. E começamos a trabalhar com Msql.

minha dúvida é , vale a pena converte tudo e mandar para banco de dados Msql, ou continuar utilizando várias fontes?

Ex: comecei a usar power Bi e sinto que é mais fácil falar no Banco de dados, do que ficar utilizando mil planilhas dos departamentos.

A ideia é ter isso no banco de dados para modelagem das informações pra data cience etc.

O que vocês acham?

entre Mongo DB e Msql qual melhor usar? (faz um mês que estou testando os dois)

Desculpa as perguntas leigas pessoal!

Depende de como os dados são inseridos, quem trabalha com estes dados (seja criando, processando ou consumindo).
Não vejo vantagem em colocar tudo no MySQL ou MongoDB se quem utiliza estes dados o faz em planilhas compartilhadas do excel, por exemplo. Você estaria criando um problema maior.

Olavo,

Primeiro o Excel não é considerado um banco de dados. Por vários motivos. O principais são a segurança, indexação, normalização e etc.

Um banco de dados de verdade possui todas essas características e entre outras. Se deseja utilizar um banco de dados, precisa levantar algumas questões:

Primeira preciso dos dados estruturados ou não.
Segundo quem vai utilizar estas informações sabe utilizar os BD seja SQL ( Mysql) ou NoSQL(MongoDB)
Terceiro para colocar no Mysql por se tratar de um banco SQL será necessário adequar as suas tabelas e dados as Formas Normais. Pois se a massa de dados crescer muito ficará lenta.

E sobre o mongo db é necessário avaliar a utilização deste banco de dados. Pois é utilizado pra grandes massas de dados. E os dados neste podem estar desestruturados.

Vale a pena sim. Concentrando os seus dados em uma única fonte vai ficar mais fácil para administrar, limpar e otimizar esses dados. Além disso, todo mundo vai enxergar a mesma versão dos dados. Vale a pena estudar um pouco sobre construção de Data Warehouse:

Sobre MongoDB x MySQL: se os seus dados estão naturalmente organizados em linhas e colunas, então o melhor formato para estes dados é o relacional mesmo, ou seja, MySQL.

1 curtida

Concerteza!!!

Olá Marcos , obrigado pelo retorno amigo.

Então a empresa é atinga e 80% dos dados estão armazenados no excel. Vendas e financeiro. Queria dar um upgrade nisso. POrque toda vez que vou manipular os dados tenho que abrir várias planilhas juntar em uma. Isso leva muito tempo pra mim. Vou mais a fundo nos estudos então.

Obrigado!

Então os dados são só guardados em planilhas mesmo. Enquanto os dados estão sendo usados eles fica na maquina do funciorio e no servidor.

Queria padronizar isso, vou dar um exemplo que aconteceu hoje de manhã.

Queriamos saber quantos veículos o cliente comprou em 10 anos e qual foi seu consumo de peças.

Tive que verificar 10 arquivos do excel referente aos anos de venda do veículos.
depois usei faturamento com txt para pegar as peças.
E depois com o txt fiz um procv, pra achar o cnpj vinculado a cada peça.

Se eu pudesse criar uma base disso tudo imagino que ficaria mais fácil de trabalhar.

Pensei em base de dados, porque quando precisava analisar os dados falava com desenvolvedor e ele me dava um link para aessar msql da informações.

E eu manipualada no python com pandas ou power bi mesmo.

Obrigado mendes
Vou estudar isso, aproveita esse feriadão. Perco muito tempo, queria otimizar isso.

Quer começar à usar um banco de dados use Firebird, Mysql vai ser muito bom pra vc aprender mais depois vai ver que vai ficar bastante limitado alem disso Firebird tbm é gratuito. o que vc vai sentir é que se for usar ele com Java precisará de conversores mais fora isso é muito bom

1 curtida

Não entendi o que você quer padronizar, é normal cada departamento ter seu próprio contexto para os dados. Talvez esteja se referindo ao formato que se encontra os dados? Mas isso é normal tb, não existe um formato ideal pra todo mundo.

O trabalho que esta tendo não é pelo formato usado por cada departamento ser diferente, e sim porque o seu processo não é automatizado, então toda hora tem que fazer isso manualmente. Na verdade, importar os dados de um excel ou txt é muito mais fácil que um banco de dados para análise.

Gostaria de padronizar as informações dos clientes.
As vezes pego o mesmo cliente com endereço diferente nos departamentos de seguros vendas e pós-venda e financeiro. As vezes o cliente atualizou em um departamento a informação só que não foi repassado para outras áreas.

outra situação que tenho é os relatórios de vendas, no msql que pega da nossa intranet consta 70 veículos em Janeiro
Na planilha da moça que faz o relatório no excel consta 67 veículos.

Não é nada demais só que conforme o volume das informações isso passa batido.

Outro exemplo que eu tenho é o veículo, conseguimos consultar seu consumo por chassi. Mas não conseguimos saber qual cliente ele está vinculado. (nao conseguimos facilmente)

Precisamos gerar um txt do cnpj do cliente e nome depois cruzar no excel de chassis.

O que me mata é o manual. Dai pensei que era mais fácil criar a base dados.

Mas estou aceitando ideias para estudar.

Verifique se existe uma forma de normalizar os dados se houver sugiro colocar no mysql.

1 curtida