Segurança com Angular e Jersey

Estou com uma dúvida e precisei recorrer a vocês.

Vamos começar um novo projeto aqui na empresa e resolvemos partir para Angular e Restful, usaremos Jersey.
Nós temos experiência com Webservice Rest, mas somente em ambientes controlados e somente com usuários conhecidos e devidamente validados, nós nunca abrimos nosso serviço para a Web, e foi ai que a dúvida surgiu.
O que impedirá que alguém mal intencionado acesse meus serviços Rest? Eu poderia criar um token para garantir que somente meus javascripts acessassem meu WS, mas se alguém debugar meu javascrip, vai descobrir o token.

Como fazer para que somente meu Angular tenha acesso ao meu webservice? Como evitar que outras pessoas consumam meus serviços?