Utilizando as saidas do System.out.println no metodo append da classe JTextArea

O correto é você substituir dentro do seu código todas as chamadas de métodos de escrita para System.out para JTextAread.append(String str) manualmente.

Mas você pode fazer uma classe que extende PrintStream cujos métodos de escrita escrevam para o seu JTextAread.append(String str), e aí usar System.setOut(PrintStream out), apesar de que não é garantido que System.setOut(PrintStream out) tenha efeito, conforme especifica a classe System. Se essa gambiarra com System.setOut() funcionar, quando você chamar os métodos de escrita do System.out, ele deverá escrever no seu JTextArea. É possível, mas fica porco DEMAIS.

Inté.