Automatizando Processos - Selenium?

Olá! Trabalho fazendo avaliação de empresas, e para cada avaliação tenho que acessar umas 15 páginas e digitar umas 25 vezes os CNPJ e/ou CPF. Gostaria de algo que automatizasse essa rotina operacional. Precisaria que, no mínimo, abrisse o site, inserisse o CNPJ ou CPF para que eu depois, possa digita o código Captcha para gerar a página e imprimir, e assim ao fechar, ele já abra a outra página e assim por diante. Se fosse possível, automatizar até o código captcha seria melhor ainda. Usamos hoje um *.bat que vai abrindo as páginas e ao fechar ele abre outra, somente isso. Por exemplo, tenho que entrar no site da receita federal, digitar o CNPJ, digito também o captcha e clique em “ok”, ele gera a certidão do cnpj, imprimo a certidão e fecho o site. Saberiam me dizer se há como fazer isso? Poderiam me ajudar em algo? Vi algo com o Selenium em um video do site qualidade de software: http://www.youtube.com/watch?v=NfBOBUN_8y8&feature=player_embedded . Desde já, obrigado!

Na empresa que trabalho usamos Selenium para testes funcionais, o que eu chamo de teste de verdade automatizado. Dá trabalho mas existe o tempo real investido para isso, funciona muito bem, fazemos tudo via programação com Selenium WebDriver mas é possível também fazer via IDE visualmente por plugin Selenium IDE (para casos simples funciona, mas qualquer elemento visual que altere dentro do xpath pode quebrar os testes), via programação com jquery você tem mais controle pontual e pode criar métodos centralizados para realizar tarefas repetitivas de acordo com a necessidade.

Olá JavaFlex!

Então, tenho noção em programação, mas não chego nem perto de ser um programador. Em minhas buscas, o jeito mais fácil (que eu encontrei, e não foram muitos) para realizar tal tarefa é com o Selenium, mas posso estar enganado.
Você saberia me dizer, por exemplo, para criar esse procedimento para o site da receita federal, seria algo razoavelmente fácil? Saberia de algum exemplo onde eu possa tentar me espelhar?
Não sei se você também faria esse tipo de trabalho, e se faria poderiamos conversar em particular?

Desde já, agradeço a atenção!

Na empresa que trabalho usamos Selenium para testes funcionais, o que eu chamo de teste de verdade automatizado. Dá trabalho mas existe o tempo real investido para isso, funciona muito bem, fazemos tudo via programação com Selenium WebDriver mas é possível também fazer via IDE visualmente por plugin Selenium IDE (para casos simples funciona, mas qualquer elemento visual que altere dentro do xpath pode quebrar os testes), via programação com jquery você tem mais controle pontual e pode criar métodos centralizados para realizar tarefas repetitivas de acordo com a necessidade.[/quote]

Olá JavaFlex!

Então, tenho noção em programação, mas não chego nem perto de ser um programador. Em minhas buscas, o jeito mais fácil (que eu encontrei, e não foram muitos) para realizar tal tarefa é com o Selenium, mas posso estar enganado.
Você saberia me dizer, por exemplo, para criar esse procedimento para o site da receita federal, seria algo razoavelmente fácil? Saberia de algum exemplo onde eu possa tentar me espelhar?
Não sei se você também faria esse tipo de trabalho, e se faria poderiamos conversar em particular?

Desde já, agradeço a atenção!

Na empresa que trabalho usamos Selenium para testes funcionais, o que eu chamo de teste de verdade automatizado. Dá trabalho mas existe o tempo real investido para isso, funciona muito bem, fazemos tudo via programação com Selenium WebDriver mas é possível também fazer via IDE visualmente por plugin Selenium IDE (para casos simples funciona, mas qualquer elemento visual que altere dentro do xpath pode quebrar os testes), via programação com jquery você tem mais controle pontual e pode criar métodos centralizados para realizar tarefas repetitivas de acordo com a necessidade.[/quote]

Olá JavaFlex!

Então, tenho noção em programação, mas não chego nem perto de ser um programador. Em minhas buscas, o jeito mais fácil (que eu encontrei, e não foram muitos) para realizar tal tarefa é com o Selenium, mas posso estar enganado.
Você saberia me dizer, por exemplo, para criar esse procedimento para o site da receita federal, seria algo razoavelmente fácil? Saberia de algum exemplo onde eu possa tentar me espelhar?
Não sei se você também faria esse tipo de trabalho, e se faria poderiamos conversar em particular?

Desde já, agradeço a atenção![/quote]
Disponibilidade para trabalho não tenho. Do jeito que uso é necessário conhecimento de programação sim, da linguagem servidor (Java ou .NET por ex.) e de programação client (jQuery ou XPath), além da biblioteca WebDriver do Selenium. Sem programação pode usar o Selenium IDE: http://www.devmedia.com.br/instalando-o-selenium-ide-no-firefox/11751, plugin que roda dentro do browser e funciona visualmente estilo gravação de macro (Quando testei precisei mudar o delay para slow para dar tempo dos ajaxs serem concluídos e não funcionou em situações complexas). Sobre código Captcha não tem como testar em seu fluxo normal, a não ser que force para o caso de teste.

Na empresa que trabalho usamos Selenium para testes funcionais, o que eu chamo de teste de verdade automatizado. Dá trabalho mas existe o tempo real investido para isso, funciona muito bem, fazemos tudo via programação com Selenium WebDriver mas é possível também fazer via IDE visualmente por plugin Selenium IDE (para casos simples funciona, mas qualquer elemento visual que altere dentro do xpath pode quebrar os testes), via programação com jquery você tem mais controle pontual e pode criar métodos centralizados para realizar tarefas repetitivas de acordo com a necessidade.[/quote]

Olá JavaFlex!

Então, tenho noção em programação, mas não chego nem perto de ser um programador. Em minhas buscas, o jeito mais fácil (que eu encontrei, e não foram muitos) para realizar tal tarefa é com o Selenium, mas posso estar enganado.
Você saberia me dizer, por exemplo, para criar esse procedimento para o site da receita federal, seria algo razoavelmente fácil? Saberia de algum exemplo onde eu possa tentar me espelhar?
Não sei se você também faria esse tipo de trabalho, e se faria poderiamos conversar em particular?

Desde já, agradeço a atenção![/quote]
Disponibilidade para trabalho não tenho. Do jeito que uso é necessário conhecimento de programação sim, da linguagem servidor (Java ou .NET por ex.) e de programação client (jQuery ou XPath), além da biblioteca WebDriver do Selenium. Sem programação pode usar o Selenium IDE: http://www.devmedia.com.br/instalando-o-selenium-ide-no-firefox/11751, plugin que roda dentro do browser e funciona visualmente estilo gravação de macro (Quando testei precisei mudar o delay para slow para dar tempo dos ajaxs serem concluídos e não funcionou em situações complexas). Sobre código Captcha não tem como testar em seu fluxo normal, a não ser que force para o caso de teste.[/quote]

Mas no Selenium eu consigo fazer com que ele insira o cnpj, por exemplo, em um textfield automaticamente? Sem que o mesmo seja fixo, ou seja, podendo alterar o mesmo para realizar outras pesquisar?

[quote=Mguft]Mas no Selenium eu consigo fazer com que ele insira o cnpj, por exemplo, em um textfield automaticamente? Sem que o mesmo seja fixo, ou seja, podendo alterar o mesmo para realizar outras pesquisar?
[/quote]
No caso do Selenium IDE você digita a informação e ele grava a sequencia do que você fez, gravando XPaths. No caso via programação através do WebDriver você seta via jquery (por exemplo) o valor no input. Mas não sei se entendi seu objetivo, você quer automatizar testes ou usar site para gerar informação?

[quote=javaflex][quote=Mguft]Mas no Selenium eu consigo fazer com que ele insira o cnpj, por exemplo, em um textfield automaticamente? Sem que o mesmo seja fixo, ou seja, podendo alterar o mesmo para realizar outras pesquisar?
[/quote]
No caso do Selenium IDE você digita a informação e ele grava a sequencia do que você fez, gravando XPaths. No caso via programação através do WebDriver você seta via jquery (por exemplo) o valor no input. Mas não sei se entendi seu objetivo, você quer automatizar testes ou usar site para gerar informação?[/quote]

É o seguinte, vou tentar explicar melhor: não desenvolvo site, eu somente os utilizo para realizar pesquisas que me permitem fazer a avaliação de uma empresa. Não é para testar as páginas, mas para gerar informação, como no caso do site da receita.fazenda, eu preciso imprimir o cartão cnpj da empresa. Como posso avaliar em torno de 30 empresas por dias, fazer esse processo em 15 sites, usando não somente o CNPJ mas também o CPF, gera um processo manual muito trabalhoso (não é preguiça, quero encontrar uma alternativa de agilizar esse processo, já que preciso gerar resultado como funcionário). Espero ter sido mais claro. Se estou fazendo algo erroneo, por favor, me corrija, e já peço desculpas. Abraços e obrigado.

[quote=Mguft][quote=javaflex][quote=Mguft]Mas no Selenium eu consigo fazer com que ele insira o cnpj, por exemplo, em um textfield automaticamente? Sem que o mesmo seja fixo, ou seja, podendo alterar o mesmo para realizar outras pesquisar?
[/quote]
No caso do Selenium IDE você digita a informação e ele grava a sequencia do que você fez, gravando XPaths. No caso via programação através do WebDriver você seta via jquery (por exemplo) o valor no input. Mas não sei se entendi seu objetivo, você quer automatizar testes ou usar site para gerar informação?[/quote]

É o seguinte, vou tentar explicar melhor: não desenvolvo site, eu somente os utilizo para realizar pesquisas que me permitem fazer a avaliação de uma empresa. Não é para testar as páginas, mas para gerar informação, como no caso do site da receita.fazenda, eu preciso imprimir o cartão cnpj da empresa. Como posso avaliar em torno de 30 empresas por dias, fazer esse processo em 15 sites, usando não somente o CNPJ mas também o CPF, gera um processo manual muito trabalhoso (não é preguiça, quero encontrar uma alternativa de agilizar esse processo, já que preciso gerar resultado como funcionário). Espero ter sido mais claro. Se estou fazendo algo erroneo, por favor, me corrija, e já peço desculpas. Abraços e obrigado.[/quote]
Entendi, se você não trabalha no projeto do site, o Captcha vai impedir isso que você quer fazer, pois ele serve justamente para impedir que robôs fiquem estressando o sistema. Você poderia consultar se existem web services que disponibilizem as informações que deseja. Aqui tem um tópico sobre: http://www.guj.com.br/java/125714-como-consultar-cpf-na-receita-federal-usando-web-service- Ou pesquise mais no google em relação a isso.

[quote=javaflex][quote=Mguft][quote=javaflex][quote=Mguft]Mas no Selenium eu consigo fazer com que ele insira o cnpj, por exemplo, em um textfield automaticamente? Sem que o mesmo seja fixo, ou seja, podendo alterar o mesmo para realizar outras pesquisar?
[/quote]
No caso do Selenium IDE você digita a informação e ele grava a sequencia do que você fez, gravando XPaths. No caso via programação através do WebDriver você seta via jquery (por exemplo) o valor no input. Mas não sei se entendi seu objetivo, você quer automatizar testes ou usar site para gerar informação?[/quote]

É o seguinte, vou tentar explicar melhor: não desenvolvo site, eu somente os utilizo para realizar pesquisas que me permitem fazer a avaliação de uma empresa. Não é para testar as páginas, mas para gerar informação, como no caso do site da receita.fazenda, eu preciso imprimir o cartão cnpj da empresa. Como posso avaliar em torno de 30 empresas por dias, fazer esse processo em 15 sites, usando não somente o CNPJ mas também o CPF, gera um processo manual muito trabalhoso (não é preguiça, quero encontrar uma alternativa de agilizar esse processo, já que preciso gerar resultado como funcionário). Espero ter sido mais claro. Se estou fazendo algo erroneo, por favor, me corrija, e já peço desculpas. Abraços e obrigado.[/quote]
Entendi, se você não trabalha no projeto do site, o Captcha vai impedir isso que você quer fazer, pois ele serve justamente para impedir que robôs fiquem estressando o sistema. Você poderia consultar se existem web services que disponibilizem as informações que deseja. Aqui tem um tópico sobre: http://www.guj.com.br/java/125714-como-consultar-cpf-na-receita-federal-usando-web-service- Ou pesquise mais no google em relação a isso.[/quote]

Sim, mas se eu conseguisse automatizar todo o processo, menos o captcha, já seria muiiiiiiiiiiito melhor. O cara do vídeo que lhe passei, tem uma classe (acho que é isso) que lê os dados em uma planilha excel, assim poderia sempre mudar o cnpj ou cpf nele e eentão realizar as pesquisas. ele disse que disponibilizaria no site dele essa classe mas não tem. Pensei até em descobrir uma forma dele ler um *.txt, creio que deva ser mais fácil. Mas vou dar uma olhada na informação que me passou. Obrigado.