Ae galera 
Eu queria saber como (e quais metodos usar) resolver uma equação matemática com incógnitas (x, y, z)
como por exemplo um sistema
ou uma equação de 2º grau (pela fórmula de Bhaskara) :
Bom é isso, espero ter sido claro o bastante 
Obrigado desde já!
Como (e quais metodos usar) depende do seu objetivo.
Se for para aprender algoritmos e linguagem java, o jeito é pensar primeiro no algoritmo: o que você faz para resolver o problema à mão mesmo? Quais as operações que você usa?
Por exemplo, no caso da equação do segundo grau, você precisa receber os valores de a, b e c. Depois aplicar os cálculos da fórmula de Bhaskara, observando que o delta pode ser negativo. Nesse caso não é possível extrair a raiz quadrada (a função não tem raízes reais).
Depois de pensar no algoritmo, tentar implementar em java (ou na linguagem que você utiliza). Para a raiz quadrada, você tem o método Math.sqrt().
http://docs.oracle.com/javase/6/docs/api/java/lang/Math.html
Se for um objetivo mais científico, você pode usar por exemplo pacotes de álgebra linear para Java, no caso dos sistemas.
A resposta é x = 20, y = 5.
Java não é muito adequado para fazer cálculo simbólico (que é o que você viu quando eu joguei você no site do Wolfram Alpha). Para tais coisas, use um pacote como o Maxima ( http://maxima.sourceforge.net/ ) ou o Mathematica, que é a base do Wolfram Alpha.
Em Java é possível fazer cálculo numérico, basta você escolher seu problema e as bibliotecas adequadas para resolver o problema.
Você pode usar um pouco de álgebra linear. Pode receber os coeficientes do seu sistema como uma matriz. Isso se seu problema for apenas resolver o sistema.
Procure pelo método de eliminação de Gauss-Jordan, que é razoavel de ser implementado computacionalmente.