É um fenômeno chamado pixelation. Na computação gráfica a solução desse problema é o algoritmo antialising(que o autor implementou).
S
Schuenemann
Para algumas imagens, como esse golfinho/peixe do SMW, o resultado ficou perfeito. Já em outras, como a espada do Secret of Mana, distorceu demais.
Edit: quer dizer, distorceu demais, mas as imagens estão aumentadas em 16x. Faltou colocar imagens aumentadas algumas poucas vezes (2x, 4x) que é como geralmente fica num emulador.
Alguns emuladores de consoles antigos possuem anti-aliasing, como o Gens/GS: