Vou te adiantar uma coisa: Não é fácil.
Você vai ter que pesquisar várias técnicas, e tentar combina-las. É assim com toda aplicação de visão computacional, até por isso, não se vê aplicações dessa em todo lugar. E ter dificuldade é perfeitamente normal, principalmente se você estiver em suas primeiras aplicações.
O seu caso é relativamente bem controlado. De cara você poderia descartar em cima e embaixo e aos lados da imagem por ela ser bem comportada, e então processar após isso.
Você pode tentar converter a imagem num outro espaço de cor, como o HSV, para tentar identificar o amarelo dos número (tem que ser uma faixa de amarelos, pois tanto a tinta quanto a iluminação mudam).
Agora, não dá para ficar te enviando exemplos, pois isso envolveria eu mesmo parar, instalar a opencv, pegar suas imagens e fazer o trabalho para você. Infelizmente, eu não teria tempo para isso.