Não sei muito sobre VB, mas a lógica que você vai ter que aplicar é.:
1º Crie duas listas genéricas
2º Toda vez que adicionar um contato na lista 1 faça a verificação se já contem esse valor dentro dela, se não contem você adiciona se o valor já estiver dentro da lista adicione ele na segunda lista
No final você terá dois List um com valores exclusivos e outro com os valores que se repetem.
Fefo80
Também não sei de VB, de repente tem até uma função melhor.
Pelo que entendi do código, a lista já existe e será extraída de uma planilha do Excel. Ele não precisa se preocupar em adicionar.
O que eu faria seria:
Pegar a lista de itens
Colocar em ordem crescente
Comparar o item atual com o anterior:
a) se igual, pular pro próximo item
b) se diferente, adicionar na 2a lista aquele item