JPA - arquivos armazenados no banco

Olá,

Estou salvando imagens e arquivos no banco da minha aplicação.

O problema é que quando eu busco um registro no banco, na maioria das vezes eu não preciso buscar a imagem junto. Só que o JPA está buscando o arquivo junto, e por isso demora bem mais tempo para executar as queries.

Tem como eu especificar para o JPA buscar todas as colunas, exceto a do tipo BLOB que armazena o arquivo?