Como (e quais metodos usar) depende do seu objetivo.
Se for para aprender algoritmos e linguagem java, o jeito é pensar primeiro no algoritmo: o que você faz para resolver o problema à mão mesmo? Quais as operações que você usa?
Por exemplo, no caso da equação do segundo grau, você precisa receber os valores de a, b e c. Depois aplicar os cálculos da fórmula de Bhaskara, observando que o delta pode ser negativo. Nesse caso não é possível extrair a raiz quadrada (a função não tem raízes reais).
Depois de pensar no algoritmo, tentar implementar em java (ou na linguagem que você utiliza). Para a raiz quadrada, você tem o método Math.sqrt().
Se for um objetivo mais científico, você pode usar por exemplo pacotes de álgebra linear para Java, no caso dos sistemas.
E
entanglement
A resposta é x = 20, y = 5.
Java não é muito adequado para fazer cálculo simbólico (que é o que você viu quando eu joguei você no site do Wolfram Alpha). Para tais coisas, use um pacote como o Maxima ( http://maxima.sourceforge.net/ ) ou o Mathematica, que é a base do Wolfram Alpha.
Em Java é possível fazer cálculo numérico, basta você escolher seu problema e as bibliotecas adequadas para resolver o problema.
matheuslmota
Você pode usar um pouco de álgebra linear. Pode receber os coeficientes do seu sistema como uma matriz. Isso se seu problema for apenas resolver o sistema.
Procure pelo método de eliminação de Gauss-Jordan, que é razoavel de ser implementado computacionalmente.