Tem alguma maneira de setar o heap-size no código java mesmo, sem ter que digitar java -Xmx264m -jar teste.jar?
Não - essas são instruções passadas da linha de comando para a parte C/C++ do java.exe (ou do /usr/bin/java); o seu programa Java mesmo não tem controle nenhum sobre isso.
é que tenho uma aplicação, criei um instalador…até aí tudo bem…mas tenho que setar o Xmx e Xms pois a aplicação lida com muitos dados… o problema que se eu colocar por exemplo no atalho do ícone para rodar a aplicação java -Xmx256m -Xms64m -jar C:\Aplicações\aplicacao\aplicacao.jar vai abrir uma janela do prompt de comando atrás…
Tem como eu fazer aquela janela do prompt atrás desaparecer quando estou executando? Pois se eu colocar somente o caminho do jar no ícone da aplicação para executar por exemplo C:\Aplicações\aplicacao\aplicacao.jar não tenho como passar os parâmetros -Xmx256m -Xms64m
Em vez de você pôr no atalho do ícone “java bla ble bli…” você deve usar (no caso do Windows) “[color=red]javax[/color] bla ble bli…”. Muito simples.
javax …? não achei este comando!
Seria javaw ?
Testei com esse e funcionou, mas mais uma dúvida…se for com esse javaw , vai funcionar o esquema do Xmx também ?
Desculpe, é [color=red]javaw.[/color]
Falha nossa 
O javaw.exe é exatamente igual ao java.exe, com a diferença que não cria uma janela de console. Se você olhar nos fontes em C/C++ do JDK vai ver que é só uma opção de compilação que é diferente entre o javaw.exe e o java.exe.
Ok…Problema resolvido… Obrigado pela ajuda …Thingol…