Vou tentar começar uma resposta (talvez nem você nem eu fiquemos satisfeitos com ela por enquanto; se eu encontrar uma resposta melhor depois, coloco-a aqui).
O critério a) seria mais um critério de “arredondamento”, ou seja, dado um número x, expresso com n algarismos significativos, se estamos interessados em obter um número y, com n-1 algarismos significativos, que mais se aproxima de x, fazemos conforme o critério a), com uma pequena ressalva.
Para cálculos estatísticos, usamos uma regra pouco comum quando o algarismo a ser arrendodado é exatamente 5: arredondamos o número de tal modo que o próximo algarismo seja sempre par, ou seja, 3,45 -> 3,4, 3,55 -> 3,6 e 3,65 -> 3,6. Tal procedimento minimiza erros no cálculo de médias aritméticas. Por exemplo:
Sem arredondamento: ( 3,45 + 3,55 + 3,65 ) / 3 = 3,55
Com arredondamento: ( 3,4 + 3,6 + 3,6 ) / 3 = 3,53
Experimente os critérios de arredondamento aos quais você já está acostumado e você verá que o erro cometido no cálculo da média será maior do que 0,02, o erro cometido com este critério de arredondamento.
Quando estamos interessados em obter a ordem de grandeza de um número, queremos descobrir qual potência inteira de 10 melhor aproxima tal número. Dado um número x, a potência (não necessariamente inteira) de 10 que dá exatamente o valor de x é o que chamamos logaritmo decimal de x (que denotarei aqui como log x). Ou seja,
x = 10^(log x)
O critério b), utilizado para obter a ordem de grandeza de um número x, consiste, na prática, em arredondar o valor de log x para um número inteiro.
Daí vem a comparação daquele fator com sqrt(10) (raiz quadrada de 10), pois log sqrt(10) = 0,5. Se o fator for menor que sqrt(10), arredondamos log x “para baixo” e, se for maior, arredondamos log x “para cima”.
Ainda não sei direito em que condições o critério b) mostra-se melhor (ou pior) do que o critério a) para cálculos numéricos (vou pesquisar e, encontrando algo, coloco aqui). Mas eu tenho certeza que, nos vestibulares, quando se pede a ordem de grandeza de um número, deve-se usar o critério b).