�ltimas mensagens do t�pico "Qual character encoding usar em sites s� para brasileiros?"

Qual character encoding usar em sites s� para brasileiros?

Luca — GMT

Ol�

Um assunto para discuss�o: em sites s� para brasileiros devemos usar ISO-8859-1 ou partimos logo para UTF-8. Abaixo coloco uma s�rie de considera��es cuja maior parte vale para ambos os encodings apesar de que est� feito para o UTF-8.

[color="darkblue"]Resumo dos passos para usar encoding UTF-8 em sites servidos pelo Tomcat:

1. Todas as p�ginas html devem come�ar por:[code]

[/code][/color][color="darkblue"]
2. Os forms devem ser assim:[code]

[/code][/color][color="darkblue"]
3. Os arquivos css devem come�ar por[code]@charset "utf-8"[/code][/color][color="darkblue"]
4. Os arquivos xml devem come�ar por:[code][/code][/color][color="darkblue"]
5. Os arquivos JSP devem conter:[code]<%@ page
contentType="text/html; charset=UTF-8"
%>
[/code][/color][color="darkblue"]
6. Os scripts Catalina.bat (Windows) e catalina.sh (Unix) precisam do seguinte par�metro (n�o documentado) para chamar o Java:[code]-Dfile.encoding=UTF-8[/code][/color][color="darkblue"]
7. No server.xml � preciso alterar o atributo [b]URIEncoding[/b] do conector Coyote HTTP/1.1 cujo default � ISO-8859-1 para UTF-8.[/color][color="darkblue"]

8. � preciso muita aten��o com o m�todo [b]HttpServletRequest.setCharacterEncoding("utf-8");[/b] que s� se aplica ao body e N�O � URI. E este m�todo PRECISA ser chamado ANTES de pegar os par�metros e por isso n�o funciona quando h� um filtro que chama antes [b]request.getParameter()[/b][/color][color="darkblue"]

9. Considerar a seguinte importante diferen�a que h� entre Tomcat 4 e Tomcat 5: O conector Coyote HTTP/1.1 tem um atributo [b]useBodyEncodingForURI[/b] que setado para true usar� o encoding do "request body" para decodificar os parametros que vem na URI
- O default � [b]true[/b] para TC4 (desacordo com a espec. por�m mant�m consist�ncia com vers�es antigas)
- O default � [b]false[/b] para TC5 (cumpre a espec. mas pode exigir altera��es em aplica��es antigas)

10. E adicionalmente se pode usar um m�todo mais ou menos como o abaixo para traduzir o que possa vir como iso-8859-1 para UTF-8[code]/**
* Converte o formato ISO8859-1 (default IE) para UTF-8
*/
public String toUTF8(String isoString) {
String utf8String = null;
if (null != isoString && !isoString.equals(""))
{
try
{
byte[] stringBytesISO = isoString.getBytes("ISO-8859-1");
utf8String = new String(stringBytesISO, "UTF-8");
}
catch(UnsupportedEncodingException e)
{
// Mostra exce��o mas devolve a mesma String
System.out.println("UnsupportedEncodingException: " + e.getMessage());
utf8String = isoString;
}
}
else
{
utf8String = isoString;
}
return utf8String;
}[/code]

[/color]Se algu�m discorda do resumo acima ou precisa acrescentar algum passo por favor se manifeste. Coment�rios e corre��es ser�o bem-vindos.

Depois de fixado o encoding temos um problema adicional: as senhas criptografadas na base de dados antes da mudan�a do encoding.

Perguntas:
[color="darkblue"]1. Qual encoding usar?

2. Considerando uma base de dados sem nacionalizar o conjunto de caracteres (National Character Set default), quais problemas podem acontecer ao tentar modificar uma senha criptografada armazenada na base de dados antes das mudan�as no encoding?[/color]

[]s
Luca

Rafael Steil — GMT

Muito bom. Alguns pontos eu nao sabia, e os outros acabei aprendendo na marra, quando alguns russos e chineses comecaram a reportar fatos que o [url=http://www.jforum.net]jforum[/url] estava dando altos paus com caracteres cirilicos ( ainda da alguns hehehe ).

Em relacao ao banco de dados, ainda haveria o problema do db nao suportar o encoding, nao?!.. ( e uma eventual "migracao" de caracteres seria uma opcao? )

Rafael

cv — GMT

Sticky'd. Muito bom esse post, Luca! Parabens

Quanto as suas duvidas, o melhor encoding para os casos em que vc nao sabe bem ao certo qual eh o caso eh UTF-8, por ser 100% compativel com o codigo ASCII, e ser o mais usado em aplicacoes internacionalizadas por suportar todo o character set Unicode (coisa que, se nao me engano, encodings como ISO-8859-1 sambam um pouco).

Eu nao sei se faz muito sentido guardar senhas num banco de dados sem passar por um md5 antes, e como o md5 geralmente eh feito no lado Java da coisa, eh facil manter o encoding uniforme. Para os outros dados que podem vir com o encoding errado, eh soh especificar qual o encoding que voce quer para o driver JDBC, caso ele suporte isso, ou fazer uma migracaozinha (que, em alguns casos, como o do PostgreSQL, requer dropar a base de dados, recriar com o encoding certo e importar os dados novamente).

Rafael Steil — GMT

Em relacao ao usar md5 tudo bem, mas a representacao interna de um utf-8 nao eh diferente da representacao de um iso? digo, o codigo md5 gerado nao seria diferente? ( no caso de ja ter coisas onde foi gerado o md5 usando iso, e depois passa a ser usado caractered utf )

Rafael

Rafael Steil — GMT

Tem ainda o

[code]
response.setContentType("text/html; charset=utf-8");
[/code]

Rafael

louds — GMT

Vale algumas outras notas importantes:

-Os fontes java da aplica��o devem ser desenvolvidos usando o dado encoding e o compilador informado desse encoding.

-No caso de uso de JSP's e tomcat5 precisa mexer no build.xml dele para passar o encoding dos fontes, com o 4 n�o sei exatamente qual o parametro.

-Sempre que usar Reader/Writers, obter primeiro um In(out)putStream e converter para um reader fornecendo o devido encoding, dessa forma fica mais portavel que usando -Dfile.encondig...

Luca — GMT

Ol�

Rafael, obrigado pelo acr�scimo.

CV, na verdade meu problema com senha criptografada foi o que originou meu estudo de encoding. Tudo come�ou com uma aplica��o que rodava no Linux e criptografava a senha usando a biblioteca BouncyCastle. Esta mesma aplica��o rodando no Windows encripta a senha para algo diferente do que foi armazenado pelo Linux no Oracle.

Louds, o parametro na linha de comando -Dfile.encoding=UTF-8 serve justamente para os JSPs. O parametro do web.xml javaEncoding (Java file encoding to use for generating java source files) j� tem UTF-8 como default. Este mesmo parametro j� existia no tomcat 4.1 tamb�m com default UTF-8.

Quanto as suas dicas sobre os Reader/Writers se entendi bem com Java 1.4 para obter um Reader devemos obter primeiro um InputStreamReader e passar um java.nio.charset.Charset
no construtor. Algo como est� abaixo usando o construtor InputStreamReader(InputStream in, Charset cs):[code]BufferedReader in
= new BufferedReader(new InputStreamReader(System.in, "utf-8") );[/code]
� isso?

[]s
Luca

louds — GMT

[quote="Luca"]Ol�

Quanto as suas dicas sobre os Reader/Writers se entendi bem com Java 1.4 para obter um Reader devemos obter primeiro um InputStreamReader e passar um java.nio.charset.Charset
no construtor. Algo como est� abaixo usando o construtor InputStreamReader(InputStream in, Charset cs):[code]BufferedReader in
= new BufferedReader(new InputStreamReader(System.in, "utf-8") );[/code]
� isso?

[]s
Luca[/quote]

Sim.

Luca, o javac le os arquvos no encoding nativo, ent�o vc tem que passar na linha de comando [i]-encoding=utf-8[/i] para funcionar corretamente, eu tenho um ambiente quase com a mesma configura��o sugerida por voce, mas n�o tenho como usar o -Dfile.encoding porque o mesmo servidor tem aplica��es feitas com encodings diferentes (e algumas que foram feitas por pessoas que n�o entendem encodings).

Paulo Silveira — GMT

luca

quando voce criptografar algo, nao mande o array de bytes para o construtor da string, isso da uma dor de cabeca por causa do char encoding.

o que eh legal fazer eh gerar, atraves desses bytes, uma sequencia hexadecimal. ai nao tem erro!

dukejeffrie — GMT

Que thread linda, pena que t� em portugu�s!!

Eu pensei que o javac gerava as strings internas sempre em UTF-8...

Aqui d� bastante problema com o CVS, a gente comita, e quando volta vem zuado...

[]s

Luca — GMT

Ol�

Duke

Abaixo o cvswrappers que uso:[code]
# This file affects handling of files based on their names.
#
# The -m option specifies whether CVS attempts to merge files.
#
# The -k option specifies keyword expansion (e.g. -kb for binary).
#
# Format of wrapper file ($CVSROOT/CVSROOT/cvswrappers or .cvswrappers)
#
# wildcard [option value][option value]...
#
# where option is one of
# -m update methodology value: MERGE or COPY
# -k expansion mode value: b, o, kkv, &c
#
# and value is a single-quote delimited value.
# For example:
#*.gif -k 'b'
*.CLASS -k 'b' -m 'COPY'
*.DOC -k 'b' -m 'COPY'
*.EAR -k 'b' -m 'COPY'
*.GIF -k 'b' -m 'COPY'
*.JPG -k 'b' -m 'COPY'
*.PDF -k 'b' -m 'COPY'
*.TAR -k 'b' -m 'COPY'
*.WAR -k 'b' -m 'COPY'
*.ZIP -k 'b' -m 'COPY'
*.avi -k 'b' -m 'COPY'
*.bin -k 'b' -m 'COPY'
*.bz -k 'b' -m 'COPY'
*.bz2 -k 'b' -m 'COPY'
*.class -k 'b' -m 'COPY'
*.doc -k 'b' -m 'COPY'
*.ear -k 'b' -m 'COPY'
*.exe -k 'b' -m 'COPY'
*.gif -k 'b' -m 'COPY'
*.gz -k 'b' -m 'COPY'
*.hqx -k 'b' -m 'COPY'
*.jar -k 'b' -m 'COPY'
*.jpeg -k 'b' -m 'COPY'
*.jpg -k 'b' -m 'COPY'
*.mov -k 'b' -m 'COPY'
*.mp3 -k 'b' -m 'COPY'
*.mpg -k 'b' -m 'COPY'[/code]

Caso use Linux no servidor do cvs pode ajeitar o encoding em um arquivo que no caso do fedora fica em /etc/sysconfig/i18n. Outras distribui��es tem coisa semelhante.

[]s
Luca

Sergio Lopes — GMT

mais uma quest�o sobre encoding e Web: XMLHttpRequest. eu pelo menos estou tendo uma dor de cabe�a imensa ao usar essa classe pra postar dados. mesmo colocando o encoding pra iso-8859-1 (no meu caso est� tudo em iso-8859-1) qdo envio algo via POST sempre vai como utf-8. eu n�o sei onde est� definido isso, mas n�o adianta mandar como iso-8859-1 (estou tendo q usar um remendo na hora de receber os dados do POST e converter tudo pra iso-8859-1).

minhas tentativas v�s sao era mais ou menos assim:
[code]
xmlhttp.open("POST",url,true);
xmlhttp.setRequestHeader('Content-Type','application/x-www-form-urlencoded; charset=iso-8859-1');
xmlhttp.send(data);
[/code]

PS1 se alguem souber como arrumar, diga. sen�o fica dado o recado.

PS2 se vc nao sabe o q eh XMLHttpRequest, eh uma classe JavaScript que permite enviar ou receber dados (embora o nome, nao necessariamente XML). no IE chama-se Msxml2.XMLHTTP

silvionetto — GMT

[quote=louds]Vale algumas outras notas importantes:

-Os fontes java da aplica��o devem ser desenvolvidos usando o dado encoding e o compilador informado desse encoding.

-No caso de uso de JSP's e tomcat5 precisa mexer no build.xml dele para passar o encoding dos fontes, com o 4 n�o sei exatamente qual o parametro.

-Sempre que usar Reader/Writers, obter primeiro um In(out)putStream e converter para um reader fornecendo o devido encoding, dessa forma fica mais portavel que usando -Dfile.encondig...[/quote]

Consegui resolver esse problema criando um filtro no web.xml

Re:Qual character encoding usar em sites s� para brasileiros?

pgnt — GMT

Para quem j� tentou as op��es acima, tem essa que resolveu meu problema (que tive usando Struts2 onde, no Struts1.3.8 eu n�o tinha esse problema)

colocar no struts.properties: [color=blue]struts.i18n.encoding=ISO-8859-1[/color]

abs

Re:Qual character encoding usar em sites s� para brasileiros?

dark123 — GMT

Em meu projeto web, o formul�rio envia dados para o banco e recebe com caracteres assim: [b]á[/b] para os acentos [b]�[/b] e [b]ã[/b] para os acentos [b]�[/b].

J� tentei utilizar [b]accept-charset="iso-8859-1,utf-8"[/b] nos inputs mas tamb�m n�o deu certo.
Mudei a codifica��o do banco de [b]latin1[/b] para [b]utf8[/b] mas deu na mesma.

Re:Qual character encoding usar em sites s� para brasileiros?

dark123 — GMT

Bom, criei um novo projeto contendo apenas a p�gina com o formul�rio com m�todo de envio [b]get[/b].
E tamb�m acontece o mesmo com esse projeto.

Uma imagem de um fato que me faz pensar isso:

[img]http://i60.servimg.com/u/f60/11/80/81/44/encodi10.gif[/img]

O c�digo � simples:
[code]<%@page contentType="text/html" pageEncoding="UTF-8"%>
"http://www.w3.org/TR/html4/loose.dtd">

JSP Page

<% String title = request.getParameter("title");
String msg = request.getParameter("msg"); %>

T�tulo: <%=title%> e mensagem: <%=msg%>

[/code]

N�o entendi o porqu� dos caracteres estarem assim e na barra de
endere�os ficar normal.

Bom, deixo a d�vida com quem puder me ajudar.

Obrigado.
[]s

Re:Qual character encoding usar em sites s� para brasileiros?

dark123 — GMT

Resolvi este problema.
Bastava mesmo codificar em modo [b]iso[/b].

At� enviei para o banco de dados depois.

Mas no primeiro projeto que eu tinha, um com
template e tudo, n�o vai em modo brasileiro de jeito nenhum.

Ser� que � oss?

*J� codifiquei o css em utf-8 e iso-8859-1 mas n�o adiantou.

Re:Qual character encoding usar em sites s� para brasileiros?

rafaellops — GMT

Para complementar as informa��es sobre encoding.

O atributo [b]accept-charset[/b] do form n�o funciona no Internet Explorer.

http://www.w3schools.com/TAGS/att_form_accept_charset.asp

Re:Qual character encoding usar em sites s� para brasileiros?

rodrigoajato — GMT

[quote=dark123]Bom, criei um novo projeto contendo apenas a p�gina com o formul�rio com m�todo de envio [b]get[/b].
E tamb�m acontece o mesmo com esse projeto.

Uma imagem de um fato que me faz pensar isso:

[img]http://i60.servimg.com/u/f60/11/80/81/44/encodi10.gif[/img]

O c�digo � simples:
[code]<%@page contentType="text/html" pageEncoding="UTF-8"%>
"http://www.w3.org/TR/html4/loose.dtd">

JSP Page

<% String title = request.getParameter("title");
String msg = request.getParameter("msg"); %>

T�tulo: <%=title%> e mensagem: <%=msg%>

[/code]

N�o entendi o porqu� dos caracteres estarem assim e na barra de
endere�os ficar normal.

Bom, deixo a d�vida com quem puder me ajudar.

Obrigado.
[]s[/quote]

S� o metodo POST aceita a codifica��o UTF-8 que vc colocou na sua pagina... se voc� tentar enviar pelo GET vai ficar tudo quadrado!
abra�os