Removendo componente específicio de JFrame/Panel

Boa tarde galera, estou tentando remover um componente específico da minha JFrame, e logo em seguida inserir um novo componente, a segunda parte eu consegui fazer, porém, a parte de remover um componente específico não consegui. Tentei usar:

remove(players.get(objeto.getPos())) onde players.get retorna um objeto do tipo player. Alguma ideia?

Nicksf13 é possível sim fazer porém vc deve passar a mesma instância que foi adicionada. Você pode também remover passando o índice do elemento a ser removido, respeitando a ordem com que eles foram adicionados ao JFrame.

Eu tentei fazer por referência, tendo em vista que a ordem eu não terei, mas não está dando certo. Os componentes continuam no frame