Tudo depend do Locale que usar para formatar a moeda. Aquela mascara que está ali não é o que vc vai ver. A mascara é L10n. O ponto significa “separador decimal” e o separador de milhares é definido pelo formatador e o locale, não pela mascada, então seria.
A sua VM deve estar usando local em ingles e se vc usa Locale.getInstance() não vai ficar como vc quer. Vc tem que explicitamente criar o locale correto e usar esse para formatar.