Você quer dizer o do .bat né? Mas mesmo que você converta o .bat para o .exe ou até mesmo para trocar o icon do .jar, você precisa criar um atalho para eles, só então, ir em propriedades, alterar ícone, e clicar no ícone que você deseja. Ou cria o seu próprio.
Se você quer converter de .bat para .exe, recomendo o Bat To Exe Converter, encontrado gratuitamente na internet.
EDIT: Se você quer trocar o icon de TODOS os .jar, então eu acho que você deve ir na pasta onde o java foi instalado e procurar pelo ícone e trocá-lo… Apesar que eu ache que só isso não é suficiente… E aliás, se você trocar esse ícone, só você poderá ver ele, se outras pessoas baixarem o arquivo, não poderão.
Você quer dizer trocar o ícon com uma url da internet sem ter a imagem no computador? Se sim, acho que não tem como fazer isso pelas propriedades do arquivo…
A única forma de trocar um ícon que eu saiba, é indo nas propriedades do arquivo, alterar ícone, e clicar em procurar, daí então você deve escolher o ícone que criou/baixou…