Como fazer para que os relatórios do ireport abram mais rápido na aplicação java?

Depende muito da forma que você esta trabalhando com seus dados.

Complementando o que o @Henrique_Luiz_Silva disse e acrescentando que, até onde eu entendo, um relatório é um conjunto consolidado de dados, por exemplo, exibir a lista de alunos, sua frequência (com média) e notas (com média), além de um gráfico identificando qual a média de frequência da turma e qual a média das notas da turma.
Para gerar tal relatório, é possível realizar uma série de combinações diferentes, indo desde obter tudo em tabelas ou views consolidadas, passando por utilizar recursos avançados de queries (como a função avg), até mesmo obter os dados brutos e “dar um trato” na tua aplicação.
Cada abordagem traz consigo uma série de pontos favoráveis e outra de pontos desfavoráveis que, entre eles, pode estar um melhor ou pior desempenho.
Soluções para acelerar uma ou mais funcionalidades podem consistir em melhorar tuas queries, melhorar a abordagem utilizada, trabalhar com cacheamento dos dados, etc.