Como usar certificados do windows no bouncycastle?

Estou conseguindo gerar arquivos assinados corretamente (em formato PKC7S) o problema é que agora preciso assinar arquivos com um token usb.

Pelo SUNMSCAPI eu consigo acessar o certificado que o token instalou no windows, mas não consigo fazer com o bouncycastle, ele dá um erro de PivateKey inválida.

Alguém sabe dar uma luz com relação a isso?