Recuperar pagina html usando java - pela url

JavaBaby Membro desde: 15/03/2010 16:36:39 Mensagens: 78 Offline

Ola,

Então consegui criar uma classe em java que eu informo a url ... e ela me trás todo o código html da url que informe......

mas gostaria de executar uma acão no html que ela me retorna.......
alguem sabe fazer isso??? ou algum exemplo ????

px: passo a url de uma tela de login
quero através do código html que eu tenho, informar o usuario e a senha e executar !!!

tendo assim o código html da outra tela que acabei de acessar através da senha

tem como fazer isso???

vlwwwww

JavaBaby Membro desde: 15/03/2010 16:36:39 Mensagens: 78 Offline

???????????

JavaBaby Membro desde: 15/03/2010 16:36:39 Mensagens: 78 Offline

ninguem imagina????

Thread.start() Membro desde: 16/05/2009 16:56:39 Mensagens: 36 Offline

Boa tarde Edward.

Voce vai precisar fazer o seguinte: Criar uma classe que irá ler todo seu html e pegar todos os forms do html.
Uma vez que voce tenha os forms do html, voce devera ter uma classe que irá extrair, do form, o nome dos inputs e a action do form.

Bom, com a classe que voce tem ai que usa para "ler" paginas, voce deve abrir o endereco passado na action do form.
o parametro enviado sera: nomeInput1=valueInput1&nomeInput2=valueInput2

exemplo basico abaixo:

String strPar = "nameinput1=valueInput1&nameInput2=valueInput2";
String strUrlString = "URL DA ACTION DO  FORM";
URL oUrl = new URL(strUrlString);
        HttpURLConnection oHttpURLConnection = (HttpURLConnection) oUrl.openConnection();
        oHttpURLConnection.setDoInput(true);
        oHttpURLConnection.setDoOutput(true);
        oHttpURLConnection.setUseCaches(false);
        oHttpURLConnection.setRequestMethod("POST");
        oHttpURLConnection.setRequestProperty("Content-Type", "text/html");
        oHttpURLConnection.connect();
        OutputStream out = oHttpURLConnection.getOutputStream();
        out.write(strPar.getBytes());
        out.flush();
        out.close();
        BufferedReader oBufferedReader = new BufferedReader(new InputStreamReader(oHttpURLConnection.getInputStream()));
        String strResponse = null;
        StringBuffer strbResponse = new StringBuffer();
        while (null != (strResponse = oBufferedReader.readLine())) {
            strbResponse.append(strResponse);
        }
        oBufferedReader.close();
        oHttpURLConnection.disconnect();

Ah!!! o conteudo da pagina que ele for redirecionado neste suposto "login" estara tudo dentro do StringBuffer strbResponse.

Bom, já te adianto que voce precisa de nocoes de HTML e/ou requisicoes web para fazer isto... senao tudo isto vai ser bem mais dificil.

Agora uma coisa que pensei aqui: Isto não é nenhuma tentativa de invasão ou span, certo? Espero que não.

Se precisar de ajuda, posta ai.

Att,

Lucas Israel

JavaBaby Membro desde: 15/03/2010 16:36:39 Mensagens: 78 Offline

mano valeu pela ajuda......

a classe que eu tenho aqui é bem parecida com a que vc colocou ...
oq eu realmente não sabia como fazer era os esquemas dos parametros......

mas deixa eu ver se eu entendi mesmo.....
dentro do "while"
eu vou ter o código html da minha página que vem depois que eu logar correto???
caso eu precise executar outro botao dentro desta pagina ... eu teria que fazer a mesma coisa?? passar os parametros e boa? ai teria o html da outra pagina??

só mais uma coisa..... se este sistema(site) que vou acessar não for desenvolvido com struts(action) teria jeito de acessar se fosse jsf e classes java pura mesmo?

vlwwwww

obs: rsrsr não é pra invasão não .... é pq vou ter que fazer isso aqui no trampo ... com um site que é do nosso cliente..... eu apenas estou adiantando pra ver como fazer isso!!!
eu vou ter usuario e a senha de tudo!!! não é nada fora da lei não rsrs

Thread.start() Membro desde: 16/05/2009 16:56:39 Mensagens: 36 Offline

Cara, funciona assim: Independente do que você usar (framework MVC), a página gerada será sempre em HTML (bom, com alguns exceções, claro, que geram conteudo atraves de JS por causa de AJAX, como é o caso do GWT).

O que voce precisa fazer é ler o html, achar o que deseja. Caso seja um form, faça como expliquei, caso contrário, pegue o link(do botao que voce mencionou) e coloque na URL (neste caso, não precisa passar nenhum parametro, basta ler a pagina).

Quanto aos parametros, voce pode enviar um formulario inteiro por ele. Veja:

Para voce enviar este form, voce montaria uma string com os nomes e os valores.

Voce ainda pode enviar tudo por GET (na propria URL). Veja como:

Espero ter ajudado.

Att,

Lucas Israel

JavaBaby Membro desde: 15/03/2010 16:36:39 Mensagens: 78 Offline

vlw lucas.... entendi!!

vou tentar aqui!!

abraço!

JavaBaby Membro desde: 15/03/2010 16:36:39 Mensagens: 78 Offline

Então Lucas...... eu estou tentando fazer o seguinte......
gerei um WAR do meu sistema local .... coloquei em outro servidor de aplicação ....startei e blz... está rodando no jetty!!

localmente pelo meu eclipse(tomcat) estou rodando a classe para recuperar o html da pagina do meu sistema que está rodando no jetty....

a pagina que estou acessando é a pagina de login e senha do meu sistema!!!! (estou querendo recuperar o html da outra página que vem logo depois do acesso)

está pagina de login foi feito com jsf(rich) .... quando acesso o form(http://localhost:8080/BIG/tools/formLogin.html) ela me retorna um html esquisito veja um pedaço:

<form id="formLogin" name="formLogin" method="post" action="/BIG/tools/formLogin.html;jsessionid=2gfr3ppf4vavb" enctype="application/x-www-form-urlencoded">
               <input type="hidden" name="formLogin" value="formLogin" />
	
		<table cellpadding="0" cellspacing="0" align="center">
			<tr>
		    	<td rowspan="3" valign="top">
		    		<img style="*margin-top: 4px;" src="/BIG/tools/images/cantoEsqLogin.jpg" />
		        </td>
		        
		      	<td width="100%" align="left" valign="top">
		        	<img src="/BIG/tools/images/logoLogin.jpg" />
		        </td>
		     </tr>
		     
		     <tr>
		    	<td width="93%" align="left" valign="top" class="camposLogin">
		        	
		        	<div class="baseLoginCampo">
                                    <label>
                                         Login : 
                                     </label>
                                      <input id="formLogin:login" type="text" name="formLogin:login" />
			        </div>	
			        
			        <div class="baseLoginCampo">
                                   <label>
                                          Senha : 
                                    </label>
                                     <input id="formLogin:password" type="password" name="formLogin:password" value="" />
			        </div>	
		        	
		        </td>
		     </tr>

é está action(action="/BIG/tools/formLogin.html;jsessionid=2gfr3ppf4vavb") do <form > que ele me retornou que tenho que pegar concatenando os parametros como me explicou acima?
ou tenho que fazer outra coisa ??? perceba que o botão de "Entrar" da tela está aqui em baixo! (id="formLogin:sendButton")...

a minha classe para testar é essa:

try {

String strPar = "formLogin:login=wt&formLogin:password=123";  
		   String strUrlString = "http://localhost:8080/BIG/tools/formLogin.html;jsessionid=o2rnm973x6gk";  
		   URL oUrl = new URL(strUrlString);  
		   HttpURLConnection oHttpURLConnection = (HttpURLConnection) oUrl.openConnection();  
		   oHttpURLConnection.setDoInput(true);  
		   oHttpURLConnection.setDoOutput(true);  
		   oHttpURLConnection.setUseCaches(false);  
		   oHttpURLConnection.setRequestMethod("POST");  
		   oHttpURLConnection.setRequestProperty("Content-Type", "text/html");  
		   oHttpURLConnection.connect();  
		   OutputStream out = oHttpURLConnection.getOutputStream();  
		   out.write(strPar.getBytes());  
		   out.flush();  
		   out.close();  
		   BufferedReader oBufferedReader = new BufferedReader(new InputStreamReader(oHttpURLConnection.getInputStream()));  
		   String strResponse = null;  
		   StringBuffer strbResponse = new StringBuffer();

while(( strResponse = oBufferedReader.readLine()) != null ){
//			   System.out.println(strbResponse.append(strResponse));
			   System.out.println(strResponse);
		   }
		   
		   oBufferedReader.close();  
		   oHttpURLConnection.disconnect();		   
	   } catch (MalformedURLException e){
		   System.out.println("Erro ao criar URL. Formato inválido.");
		   System.exit(1);
	   } catch (IOException e2) {
		   System.out.println("Erro ao acessar URL.");
		   e2.printStackTrace();
		   System.exit(1);
	   }

na hora que executo está linha

não era pra ele conseguir preencher os valor dos inputs? e acessar a nova pagina?
pq não está retornando o html da outra pagina.... e sim o html da mesma, sem os value preenchidos...

vlwwwwwwwww

Thread.start() Membro desde: 16/05/2009 16:56:39 Mensagens: 36 Offline

Kra, vamos uma coisa por vez.
- Sim, a url está correta.
- Tente colocar os nomes dos inputs como login e password (login=wt&password=123)

Agora, velho. Não posso te ajudar muito além daqui. Não entendo muito de faces (pois é, no mundo em que vivemos eu sou meio analfabeto de faces). É que sempre trabalhei com webwork. Estou arrumando tempo na agenda pra estudar Faces, mas cada hora aparece uma coisa nova pra estudar e/ou fazer (ta, pura sem vergonhice mesmo =p ).

Aposto que outro usuário do fórum irá se manifestar e ajudar, enquanto isto faça da forma que sugeri e posta o resultado.

Att,

Lucas Israel

JavaBaby Membro desde: 15/03/2010 16:36:39 Mensagens: 78 Offline

Fmz então Lucas..... tentei fazer o que vc falou .... mas tbm não me retornou o html da outra página.....
parece que ele não está conseguindo setar os valores......

bom vou tentar aqui... vlwww ...

se alguem souber .... please!!!

JavaBaby Membro desde: 15/03/2010 16:36:39 Mensagens: 78 Offline

então ninguém mais do forum ja precisou acessar um site pelo java e recuperar o html das paginas acessadas????

Thread.start() Membro desde: 14/04/2006 10:51:47 Mensagens: 48 Offline

Cara,

Tem uma biblioteca "httpUnit" que tem justamente isso que vocês está querendo.
Com ela você consegue acessar a pagina recuperar o seu form preencher esse form dar submit do botão e ainda obter o html de resposta.

Nesse PDF tem um exemplo completo disso
http://www.argonavis.com.br/cursos/java/j820/j820_08_httpunit.pdf

Qualquer coisa pergunta ae que eu tento te ajudar

JavaBaby Membro desde: 15/03/2010 16:36:39 Mensagens: 78 Offline

E ai cavalera..... é exatamente isso que eu precisava..... só que como não conheço muito bem..... tenho algumas dúvidas..... vê se vc sabe me ajudar.....

quando tento acessar um site normal px: http://www.google.com.br
eu não consigo conexão.....

eu acho q tenho que configurar o proxy .... eu configurei assim e não deu certo

vc sabe o nome da propriedade de "senha" e "usuario" ? pq acho que tenho que informar isso tbm!!! quando uso o firefox na minha máquina informo o usuario e senha tbm...

o outro ponto que ta foda de dar certo.... é conseguir acessar o outro form a tela depois do login ..... veja meu codigo

neste código estou setando o usuario e login.....
ele está conseguindo recuperar o form blz.....
consegue setar o "formLogin:login" tbm..... pq depois no html que retorna ... o value="wt" desse input... vem setado corretamente....
o problema é que o campo senha... é criptografado no meu bean

tentei passar o valor ja criptografado :

e ele me retorna o mesmo html da pagina de login

quando passo sem criptografar:

ele da um erro muito grande cara...... vou tentar resumir ... colocando o começo e o fim do erro....

começo

com.meterware.httpunit.ScriptException: Script 'var Prototype={Version:'1.6.0',Browser:{IE:!!(window.attachEvent&&!window.opera),Opera:!!window.opera,WebKit:navigator.userAgent.indexOf('AppleWebKit/')>-1,Gecko:navigator.userAgent.indexOf('Gecko')>-1&&navigator.userAgent.indexOf('KHTML')==-1,MobileSafari:!!navigator.userAgent.match(/Apple.*Mobile.*Safari/)},BrowserFeatures:{XPath:!!document.evaluate,ElementExtensions:!!window.HTMLElement,SpecificElementExtensions:document.createElement('div').__proto__&&document.createElement('div').__proto__!==document.createElement('form').__proto__},ScriptFragment:'<script[^>]*>([\\S\\s]*?)<\/script>',JSONFilter:/^\/\*-secure-([\s\S]*)\*\/\s*$/,emptyFunction:function(){},K:function(x){return x}};if(Prototype.Browser.MobileSafari)
Prototype.BrowserFeatures.SpecificElementExtensions=false;if(Prototype.Browser.WebKit)
Prototype.BrowserFeatures.XPath=false;var Class={create:function(){var parent=null,properties=$A(arguments);if(Object.isFunction(properties[0]))
parent=properties.shift();function klass(){this.initialize.apply(this,arguments);}
Object.extend(klass,Class.Methods);klass.superclass=parent;klass.subclasses=[];if(parent){var subclass=function(){};subclass.prototype=parent.prototype;klass.prototype=new subclass;parent.subclasses.push(klass);}
for(var i=0;i<properties.length;i++)
klass.addMethods(properties[i]);if(!klass.prototype.initialize)
klass.prototype.initialize=Prototype.emptyFunction;klass.prototype.constructor=klass;return klass;}};Class.Methods={addMethods:function(source){var ancestor=this.superclass&&this.superclass.prototype;var properties=Object.keys(source);if(!Object.keys({toString:true}).length)
properties.push("toString","valueOf");for(var i=0,length=properties.length;i<length;i++){var property=properties[i],value=source[property];if(ancestor&&Object.isFunction(value)&&value.argumentNames().first()=="$super"){var method=value,value=Object.extend((function(m){return function(){return ancestor[m].apply(this,arguments)};})(property).wrap(method),{valueOf:function(){return method},toString:function(){return method.toString()}});}
this.prototype[property]=value;}
return this;}};var Abstract={};Object.extend=function(destination,source){for(var property in source)
destination[property]=source[property];return destination;};Object.extend(Object,{inspect:function(object){try{if(object===undefined)return'undefined';if(object===null)return'null';return object.inspect?object.inspect():object.toString();}catch(e){if(e instanceof RangeError)return'...';throw e;}},toJSON:function(object){var type=typeof object;switch(type){case'undefined':case'function':case'unknown':return;case'boolean':return object.toString();}
if(object===null)return'null';if(object.toJSON)return object.toJSON();if(Object.isElement(object))return;var results=[];for(var property in object){var value=Object.toJSON(object[property]);if(value!==undefined)
results.push(property.toJSON()+': '+value);}
return'{'+results.join(', ')+'}';},toQueryString:function(object){return $H(object).toQueryString();},toHTML:function(object){return object&&object.toHTML?object.toHTML():String.interpret(object);},keys:function(object){var keys=[];for(var property in object)
keys.push(property);return keys;},values:function(object){var values=[];for(var property in object)
values.push(object[property]);return values;},clone:function(object){return Object.extend({},object);},isElement:function(object){return object&&object.nodeType==1;},isArray:function(object){return object&&object.constructor===Array;},isHash:function(object){return object instanceof Hash;},isFunction:function(object){return typeof object=="function";},isString:function(object){return typeof object=="string";},isNumber:function(object){return typeof object=="number";},isUndefined:function(object){return typeof object=="undefined";}});Object.extend(Function.prototype,{argumentNames:function(){var names=this.toString().match(/^[\s$]*function[^(]*\((.*?)$/)[1].split(",").invoke("strip");return names.length==1&&!names[0]?[]:names;},bind:function(){if(arguments.length<2&&arguments[0]===undefined)return this;var __method=this,args=$A(arguments),object=args.shift();return function(){return __method.apply(object,args.concat($A(arguments)));}},bindAsEventListener:function(){var __method=this,args=$A(arguments),object=args.shift();return function(event){return __method.apply(object,[event||window.event].concat(args));}},curry:function(){if(!arguments.length)return this;var __method=this,args=$A(arguments);return function(){return __method.apply(this,args.concat($A(arguments)));}},delay:function(){var __method=this,args=$A(arguments),timeout=args.shift()*1000;return window.setTimeout(function(){return __method.apply(__method,args);},timeout);},wrap:function(wrapper){var __method=this;return function(){return wrapper.apply(this,[__method.bind(this)].concat($A(arguments)));}},methodize:function(){if(this._methodized)return this._methodized;var __method=this;return this._methodized=function(){return __method.apply(null,[this].concat($A(arguments)));};}});Function.prototype.defer=Function.prototype.delay.curry(0.01);Date.prototype.toJSON=function(){return'"'+this.getUTCFullYear()+'-'+
(this.getUTCMonth()+1).toPaddedString(2)+'-'+
this.getUTCDate().toPaddedString(2)+'T'+
this.getUTCHours().toPaddedString(2)+':'+
this.getUTCMinutes().toPaddedString(2)+':'+
this.getUTCSeconds().toPaddedString(2)+'Z"';};

fim

delete Event.cache[eventID];}});}' failed: org.mozilla.javascript.EcmaError: TypeError: Cannot find function createElement. (httpunit#12506)

at com.meterware.httpunit.javascript.ScriptingEngineImpl.handleScriptException(ScriptingEngineImpl.java:64)
	at com.meterware.httpunit.javascript.ScriptingEngineImpl.runScript(ScriptingEngineImpl.java:95)
	at com.meterware.httpunit.scripting.ScriptableDelegate.runScript(ScriptableDelegate.java:88)
	at com.meterware.httpunit.ParsedHTML.interpretScriptElement(ParsedHTML.java:364)
	at com.meterware.httpunit.ParsedHTML$ScriptFactory.recordElement(ParsedHTML.java:533)
	at com.meterware.httpunit.ParsedHTML$2.processElement(ParsedHTML.java:744)
	at com.meterware.httpunit.NodeUtils$PreOrderTraversal.perform(NodeUtils.java:241)
	at com.meterware.httpunit.ParsedHTML.loadElements(ParsedHTML.java:760)
	at com.meterware.httpunit.ParsedHTML.getFrames(ParsedHTML.java:1101)
	at com.meterware.httpunit.WebResponse.getFrames(WebResponse.java:1285)
	at com.meterware.httpunit.WebResponse.getFrameRequests(WebResponse.java:1024)
	at com.meterware.httpunit.FrameHolder.updateFrames(FrameHolder.java:179)
	at com.meterware.httpunit.WebWindow.updateFrameContents(WebWindow.java:315)
	at com.meterware.httpunit.WebClient.updateFrameContents(WebClient.java:526)
	at com.meterware.httpunit.WebWindow.updateWindow(WebWindow.java:201)
	at com.meterware.httpunit.WebWindow.getSubframeResponse(WebWindow.java:183)
	at com.meterware.httpunit.WebWindow.getResponse(WebWindow.java:158)
	at com.meterware.httpunit.WebWindow.updateWindow(WebWindow.java:199)
	at com.meterware.httpunit.WebWindow.getSubframeResponse(WebWindow.java:183)
	at com.meterware.httpunit.WebWindow.getResponse(WebWindow.java:158)
	at com.meterware.httpunit.WebClient.getResponse(WebClient.java:122)
	at br.com.webtraffic.big.channel.Teste.main(Teste.java:28)

não tenho certeza se isso está certo tbm....

coloquei o codigo html que o java me retorna la em cima... se quiser dar uma olhada......

se alguem tiver uma luz ai......

vlwwwwwwwwwwwwwwwww

This message was edited 1 time. Last update was at 09/07/2010 14:13:35

Você tem que colocar o proxy, host, login e senha!

Tem varias maneira de fazer isso

Ex uma pagina com um form de login senha

esse codigo preenche o campo "login" do seu form com a palavra fulano e preenche o campo senha com F932*xw.
WebResponse response = wc.getResponse(request); - > isso aqui vai fazer o submit desse formulario
String html = response.getText(); -> vai obter o html de resposta

Em qual site você esta tentando fazer o login?
Se for algo da google por exemplo okut, antes de tentar fazer o login é necessário pegar o token de autenticação no Google, é uma chave que será usada para acessar o orkut - a "prova da autenticação sucedida". Para pegá-la faço um request a /accounts/ClientLogin passando usuário, senha e o nome do serviço que quero fazer login, nesse caso, o orkut. no url abaixo tem um texto falando mais sobre isso

http://imasters.uol.com.br/artigo/12296

JavaBaby Membro desde: 15/03/2010 16:36:39 Mensagens: 78 Offline

Então cara estou tentando acessar um sistema que está rodando localmente em outro servidor de aplicação..... em outra porta.....

queria acessar esse sistema!!!

este código não funcionou!! me retorna o html do proprio formLogin.html... e eu queria da pagina que vem logo depois!!

eu até consegui acessar mas usando este código :

ele me trouxe o html da outra pagina......
mas tem um problema!!!
esta pagina que vem depois da tela de login, se chama listCampaign.xhtml

ela tem um include do jsf, de outro xhtml .... que se chama template.xhtml
quando eu deixo este include desta pagina ele da o erro que postei em lá em cima!!! quando tiro esse include ele me tras o html ...
mas como praticamente a tela inteira está no template.xhtml .... não tenho as informações que preciso!!!
nesta pagina template.xhtml que vem por trás de td.... tem alguma funções em javascript e jquery....
acredito que seja esse o problema...... sobre o proxy eu entendi.,..... vlwwwww

tem alguma luz... de como eu conseguir o html inteiro mesmo usando esse include ???
no meu listCampagin.xhtml o include ta assim!!! no jsf

Notícias, artigos e o maior fórum brasileiro sobre Java