Dica: você sabe usar System.out.println? Modifique esse programa para que imprima os valores das variáveis, e aí você vai ter uma idéia melhor do que está ocorrendo.
Dica 2: poste seu código entre as tags code. Há aqueles que ao verem seu código sem isto, vão abandona-lo imediatamente
Veja como fica:
class Test {
public static void main (String [] args) {
int x = 0;
int y = 0;
while ( x < 5 ) {
if ( y < 5 ) {
x = x + 1;
if ( y < 3 ) {
x = x - 1;
}
}
y = y + 2;
System.out.print(x " " + y + " ");
}