Reconhecimento objetos em uma imagem

Olá. Bom, estou na dúvida de iniciar um projeto de uma aplicação que consiga detectar objetos em uma imagem a fim de transformar estes em dados para manipulação. Um exemplo seria aqueles apps mobile que analisam equações através da câmera e efetuam o cálculo do mesmo. Então, a linha de pensament é a mesma, logo pensei na seguinte maneira, transformar a imagem em um formato que se possa trabalhar com apenas duas cores, Preto e Branco, e passar os dados da imagem para uma matriz que representariam linha x coluna da imagem, e armazenariam os valores rgb da mesma. Eu imagino que após isso e desta forma seria melhor traçar algoritmos para reconhecimento dos objetos da imagem. A partir de todo esse palavriado, algumas dúvidas.
1-Esta seria uma boa maneira de se fazer isso?
2-Se sim, queria algumas sugestões acerca de ler a imagem (ela estaria em Preto e branco) e passar ela para de uma matriz, de forma linha x coluna dos pixels. ***Não códigos mas sim sugestões de bibliotecas.

Dê uma estudada no OpenCV.

A Amazon já tem um serviço para isso, se o seu interesse é só usar a API:

@rmendes08, eu ia falar que já existem N algoritmos que realizam essa ação, implementados ou não.
Facebook e amazon talvez sejam os mais famosos.