Bom, depende do que o instalador faz, claro… mas o software em si, duvido muito.
Normalmente o que um programa desses faz é copiar arquivos, igual a versão não instalável, para algum lugar, e aí ele cria um “uninstall” para desinstalar, umas chaves no registro, e de vez em quando instala o serviço na lista de serviços do windows.
O que acredito possa mudar a performance da inicialização da máquina, e não do software em si, é se os serviços instalados forem todos iniciados automaticamente…