análise estatística e multi threading - Qual linguagem usar?

GUJ Master Membro desde: 01/07/2008 20:59:17 Mensagens: 1055 Offline

Oi pessoal,

Estou prestes a começar a trabalhar em um projeto em que vamos aplicar análise estatística sobre uma quantidade razoável de dados. A ideia é desenvolver utilizando multithreading.

As linguagens que estão em pauta são python, c++ e java. O que recomendam? Alguma dessas tem algo pronto pra estatística?

Pesquisei um pouco e vi que existem frameworks para integrar c++ com R. Alguém conhece e pode falar um pouco sobre?

Outra coisa que vi (no head first python) é que não é uma boa ideia usar python para programar com multithreading. Alguém pode comentar sobre isso também?

Rodrigo.

GUJ Hacker Membro desde: 26/09/2009 09:18:56 Mensagens: 5750 Offline

rodrigo.bossini wrote:Estou prestes a começar a trabalhar em um projeto em que vamos aplicar análise estatística sobre uma quantidade razoável de dados.

Não quer fazer a análise usando um pacote como o R ( http://www.r-project.org/ ) ? É de graça e muito bom.

This message was edited 1 time. Last update was at 05/09/2011 13:30:02

Se for usar C++, dê uma olhada:
http://www.boost.org/doc/libs/1_35_0/libs/math/doc/sf_and_dist/html/index.html
http://www.boost.org/doc/libs/1_47_0/doc/html/thread.html

A boost::thread foi incorporada ao C++11, junto com lambda.

Como aplicações estatísticas são geralmente altamente CPU-Bound, recomendo uma linguagem de baixo nível ou um framework específico para isso, principalmente se o volume de dados for gigantesco. É um dos poucos casos que o Java e o Python realmente perdem feio em questão de desempenho.

GUJ Master Membro desde: 01/07/2008 20:59:17 Mensagens: 1055 Offline

entanglement wrote:

rodrigo.bossini wrote:Estou prestes a começar a trabalhar em um projeto em que vamos aplicar análise estatística sobre uma quantidade razoável de dados.

Não quer fazer a análise usando um pacote como o R ( http://www.r-project.org/ ) ? É de graça e muito bom.

É, tem um pessoal do projeto que já vem usando R. Mas pelo que vi não dá pra programar com threads em R. Vi algo chamado RCPP pra integrar c++ e R. Vou dar uma olhada nisso. Outras sugestões são bem vindas.

GUJ Master Membro desde: 01/07/2008 20:59:17 Mensagens: 1055 Offline

ViniGodoy wrote:Se for usar C++, dê uma olhada:
http://www.boost.org/doc/libs/1_35_0/libs/math/doc/sf_and_dist/html/index.html
http://www.boost.org/doc/libs/1_47_0/doc/html/thread.html

A boost::thread foi incorporada ao C++11, junto com lambda.

Como aplicações estatísticas são geralmente altamente CPU-Bound, recomendo uma linguagem de baixo nível ou um framework específico para isso, principalmente se o volume de dados for gigantesco. É um dos poucos casos que o Java e o Python realmente perdem feio em questão de desempenho.

Gostei! Vou ver isso direito.

JavaChild Membro desde: 26/08/2009 10:53:34 Mensagens: 124 Offline

Vai de C++!

Eu faria os cálculos de complexidade e estatística baseado em algoritmos, depois buscando a melhor linguagem de implementação para o algoritmo selecionado.
Tudo que for feito em baixo nível desde que bem feito tem um desempenho em relação a tempo e memória incrivelmente melhores, mas deve considerar o tempo para implementação, já que escrever código em assembly para solução de problemas complexos leva um tempo consideravelmente maior que a implementação em uma linguagem amigável.
Caso escolha realmente implementar em baixo nível utilize arquitetura CISC é de mais fácil trabalho com paralelismo.

Debugger Membro desde: 06/07/2011 07:03:19 Mensagens: 66 Offline

Uma alternativa à linguagens pouco "amigáveis" é usar uma linguagem de alto nível com suporte a concorrencia e distribuição embutido na linguagem. Algumas opções são Erlang, Clojure e Scala.

moscoso.dev wrote:Uma alternativa à linguagens pouco "amigáveis" é usar uma linguagem de alto nível com suporte a concorrência e distribuição embutido na linguagem. Algumas opções são Erlang, Clojure e Scala.

Realmente a alternativa para facilitar o trabalho evitando linguagens de baixo nível são as linguagens de alto nível, mas no caso em questão o foco parece ser desempenho, não oque roda o algoritmo que torna a implementação de bom desempenho mas como roda, quando se trabalha em baixo nível eliminando conceitos como OO, OC, OE, OA, etc, pode-se construir um código altamente maleável, não estamos preso a conceitos e linhas de produção então mixamos oque nos parece prudente da forma mais econômica e prudente possível.

No fim das contas todos as linguagens de programação se tornam código de máquina que são refeitos por micro-programas e partem para trilhas físicas. (Segundo argumento do CREA, software é um hardware maleável)
"Não são materiais e sim a forma que se pode utilizar as peças"
"Quando não há forma a criatividade reina e as fraquezas se mostram, cabe ao indivíduo as diminuir a criatividade ou as fraquezas"

DavidUser wrote:

moscoso.dev wrote:Uma alternativa à linguagens pouco "amigáveis" é usar uma linguagem de alto nível com suporte a concorrência e distribuição embutido na linguagem. Algumas opções são Erlang, Clojure e Scala.

Realmente a alternativa para facilitar o trabalho evitando linguagens de baixo nível são as linguagens de alto nível, mas no caso em questão o foco parece ser desempenho, não oque roda o algoritmo que torna a implementação de bom desempenho mas como roda, quando se trabalha em baixo nível eliminando conceitos como OO, OC, OE, OA, etc, pode-se construir um código altamente maleável, não estamos preso a conceitos e linhas de produção então mixamos oque nos parece prudente da forma mais econômica e produtiva possível.

No fim das contas todos as linguagens de programação se tornam código de máquina que são refeitos por micro-programas e partem para trilhas físicas. (Segundo argumento do CREA, software é um hardware maleável)
"Não são materiais e sim a forma que se pode utilizar as peças"
"Quando não há forma a criatividade reina e as fraquezas se mostram, cabe ao indivíduo as diminuir a criatividade ou as fraquezas"

Debugger Membro desde: 06/07/2011 07:03:19 Mensagens: 66 Offline

Como você distribui a carga de trabalho em diferentes nós/processadores para serem executados em paralelo em C/C++? Pergunto porque não tenho a menor idéia mesmo, por outro lado é tranquilo ser feito usando linguagens de alto nível.

Notícias, artigos e o maior fórum brasileiro sobre Java