Vou realizar alguns teste com rotinas de processamento batch com java aqui na empresa. Gostaria de saber suas sugestões sobre possíveis ferramentas e arquiteturas para o desenvolvimento.
Cada processo será executado em datas e horarios específcos e vão criar arquivos texto, fazer conversão de base de dados entre sistemas e outras necessidades, mas todas com um grande volume de dados, algo em torno de alguns milhões de registros, algumas rotinas com mais processamento para entregar o resultado mais “mastigado” e outras com menos.
Nunca trabalhei com aplicações neste cenário, quais são os pontos mais importantes que devo considerar? Toda ajuda é bem vinda.
Estou livre para usar o que for melhor, mas quanto mais padrão for melhor. A aplicação não é desktop nem web, será um batch executado no servidor. alguma coisa no servidor irá chama-la e vai ficar processando todos os dados. Estou mais interessados sobre a questão do volume, então o que posso fazer cache ( certamente ), thread ( depende do processo ),
o que pode ser necessário? Inclusive para a solução ser escalável, hj posso estar processando 5 milhões no ano que vem estar processando com 20 milhões.