1000 requisições, não aquenta?

Virtual Machine Man Membro desde: 26/04/2007 14:32:30 Mensagens: 586 Offline

Estou desenvolvendo uma aplicação para aguentar várias requisições ao mesmo tempo.
A aplicação começa por uma servlet, que recebe alguns parâmetros por GET e guarda os parâmetros em um arquivo. Sendo que quando coloquei esta servlet para teste, recebendo 1000 requisições de um outro computador dá erro, quando o loop chega mais ou menos em 970 requisições o tomcat me responde um status 500, erro interno no servidor.
Alguém saberia o que está acontecendo? O tomcat não aguenta o tranco? Se não aguenta, alguém saberia recomendar algum outro servidor open-source?
Ou seria melhor usar um arquivo jsp em vez de uma servlet no tomcat?

o tomcat aguenta, mas o teu servlet aguenta?

você que tem que montar um ambiente que suporte essas 1000 requisições

não é simplesmente cuspir código em um servlet que vai aguentar 1 milhão de requisições/seg

já fizemos testes aqui com struts com mais de 30 mil requisições de crud (cerca de 10/seg) e aguentou (claro, tivemos que aumentar um pouco da memória da jvm)

Virtual Machine Man Membro desde: 26/04/2007 14:32:30 Mensagens: 586 Offline

como montar este ambiente?
A minha servlet é bem simples, recebe uns parâmetros por get, e grava em um arquivo os parâmetros, abre e fecha o arquivo e usa o log4j para fazer uns logs. Coisa bem simples.

JavaEvangelist Membro desde: 26/04/2005 11:18:25 Mensagens: 469 Offline

Você abre, altera, e fecha o mesmo arquivo a cada requisição? Provavelmente esse é o gargalo, mas o certo mesmo é arranjar uma ferramenta pra fazer o profiling da sua aplicação.

This message was edited 1 time. Last update was at 18/02/2008 11:08:45

Vou colocar o código da Servlet para vcs darem uma olhada.

Abaixo é o código da Servlet:

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.PrintWriter;
import java.util.Properties;

import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import control.Catcher;

public class MainServlet extends HttpServlet {

public void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException{
		File fileProperties = new File("/usr/local/apache-tomcat-6.0.16/webapps/AppWeb/WEB-INF/config/conf.properties");
		FileInputStream fileInputStream = new FileInputStream(fileProperties);
		Properties properties = new Properties();
		properties.load(fileInputStream);
		OpenFile.PATH_TXT = properties.getProperty("PATH_TXT");
		OpenFile.PATH_LOG = properties.getProperty("PATH_LOG");
		OpenFile.LAYOUT_LOG = properties.getProperty("LAYOUT_LOG");
		OpenFile.PREFIX_FILE_LOG = properties.getProperty("PREFIX_FILE_LOG");
		fileInputStream.close();
		OpenFilecatcher = new OpenFile(request.getRemoteAddr(), request.getQueryString());
		OpenFile.saveGetInDisk();
		response.setContentType("text/html");
		PrintWriter out = response.getWriter();
		out.println("<html>");
		out.println("<body>");
		out.println("<p>REQUEST SUCESS</p>");
		out.println("</body>");
		out.println("</html>");
	}
}

Abaixo a classe que servlet abre:

import java.io.File;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.FileOutputStream;

import org.apache.log4j.BasicConfigurator;
import org.apache.log4j.FileAppender;
import org.apache.log4j.Level;
import org.apache.log4j.Logger;
import org.apache.log4j.PatternLayout;

import util.BrazilCalendar;

public class OpenFile{
	
	private String query;
	private String ip;
	private File file;
	private BrazilCalendar brazilCalendar;
	private static final Logger LOGGER = Logger.getLogger(Catcher.class);
	public static String PATH_TXT ;
	public static String PATH_LOG ;
	public static String LAYOUT_LOG = "%d{yyyy-M-dd HH:mm:ss} [%t] %p %c %x - %m%n";
	public static String PREFIX_FILE_LOG ;
	
	public OpenFile(){
		super();
		BasicConfigurator.configure();
		PatternLayout patternLayout = new PatternLayout(Catcher.LAYOUT_LOG);
		Catcher.LOGGER.setLevel(Level.INFO);
		try {
			this.brazilCalendar = new BrazilCalendar();
			FileAppender fileAppender = new FileAppender(patternLayout, Catcher.PATH_LOG + Catcher.PREFIX_FILE_LOG + this.brazilCalendar.getFullDateForSystem("") + ".log");
			OpenFile.LOGGER.addAppender(fileAppender);
			OpenFile.LOGGER.info("------- NEW PROCESS -------");
			OpenFile.LOGGER.debug("TIME START: " + this.brazilCalendar.getFullDateForSystemWithHour("-"));
		} catch (IOException e) {
			OpenFile.LOGGER.info("------- NEW PROCESS -------");
			OpenFile.LOGGER.error("CANNOT OPEN FILE LOG");
			OpenFileOpenFile.LOGGER.error(e.getMessage());
			OpenFile.LOGGER.info("------- END PROCESS -------");
		}
	}
	
	public OpenFile(String query){
		this();
		this.setQuery(query);
	}
	
	public OpenFile(String ip, String query){
		this(query);
		this.setIp(ip);
	}
	
	/**
	 * @return the query
	 */
	public String getQuery() {
		return query;
	}

/**
	 * @param query the query to set
	 */
	public void setQuery(String query) {
		this.query = query;
		OpenFile.LOGGER.info("SET QUERY: " + this.query);
	}
	
	/**
	 * @return the Ip
	 */
	public String getIp() {
		return plexIp;
	}

/**
	 * @param Ip the Ip to set
	 */
	public void setIp(StringIp) {
		this.ip = Ip;
		OpenFile.LOGGER.info("SET IP: " + this.Ip);
	}
	
	public void saveMoQueueInDisk(){
		BrazilCalendar brazilCalendar = new BrazilCalendar();
		String fileName = "get" + brazilCalendar.getFullDateForSystem("") + ".txt";
		this.file = new File(OpenFile.PATH_TXT + fileName);
		if(!this.file.exists()){
			try {
				this.file.createNewFile();
				OpenFile.LOGGER.info("FILE CREATED");
			} catch (IOException e) {
				OpenFile.LOGGER.error("CANNOT CREATE FILE");
			}
		}
		try {			FileOutputStream fileOutputStream = new FileOutputStream(this.file, true);
			OpenFile.LOGGER.info("FILE OPEN: " + fileOutputStream.toString());
			String forFile = brazilCalendar.getFullDateForSystemWithHour("-") + " " + this.ip + " " + this.query + "\n";
			fileOutputStream.write(forFile.getBytes());
			fileOutputStream.flush();
			fileOutputStream.close();
			OpenFile.LOGGER.info("FILE CLOSED: " + fileOutputStream.toString());
			Catcher.LOGGER.info("DATA SAVED");
		} catch (FileNotFoundException e) {
			OpenFile.LOGGER.error("MESSAGE: " + e.getMessage());
			OpenFile.LOGGER.error("CAUSE: " + e.getCause());			
		} catch (IOException e) {
			OpenFile.LOGGER.error("MESSAGE: " + e.getMessage());
			OpenFile.LOGGER.error("CAUSE: " + e.getCause());
		} finally{
			OpenFile.LOGGER.debug("END TIME: " + this.brazilCalendar.getFullDateForSystemWithHour("-"));
			OpenFile.LOGGER.info("------- END PROCESS -------");
		}
	}	
}

Bom dia Jedi,

Provavelmente seu Tomcat deve estar com os parêmetros default de configuração.

Além de aumentar os parâmetros de memória da JVM como foi dito pelo amigo a pouco, se vc pretende simular um ambiente com o Tomcat recebendo uma carga dessa, poderia pensar tb em por um Apache na frente ;D

Caso você não queira perder muito tempo integrando um Apache HTTP Server e um Tomcat, dê uma olhada aqui:

http://tomcat.apache.org/tomcat-6.0-doc/config/http.html

Acredito que ajude

IO é uma das operações mais caras, uma idéia seria criar um buffer para estas escritas em arquivo, assim não iria bloquear a requisição.

This message was edited 1 time. Last update was at 18/02/2008 11:18:10

como posso aumentar a memória da jvm? E sim está tudo default.....
E vou mudar de IO para buffer.....muito obrigado pela dica......

Deixe seus properties em memória. (economiza IO)

Utilize uma maneira melhor de escrever esse arquivo(de preferencia não escreva em arquivo a cada requisição).

Se for utilizar arquivos mesmo, utilize NIO.

Transfira o máximo de dados possíveis para a memória(cache) para aumentar a sua performance
.

Tente diminuir ao máximo a criação de objetos por requisição.

Virtual Machine Man Membro desde: 26/04/2007 14:32:30 Mensagens: 586 Offline

Teria como criar um conexão com um arquivo uma única vez?
Por exemplo, a primeira requisição foi feita, o arquivo foi aberto e ai deixá-se a conexão em memória, para que as próximas requisições possoam usar a mesma conexão, depois de um certo tempo da conexão não sendo usada fechá-se a mesma.

Virtual Machine Man Membro desde: 26/04/2007 14:32:30 Mensagens: 586 Offline

de IO para buffer, mas mesmo assim está dando erro.
Acho que o problema é a configuração do tomcat, como posso configurá-lo para um ambiente de produção? aonde encontro algum tutorial de configuração?

Aproveitando..
onde aqui no GUJ ocorreu esses testes?

existe algum post?

normalmente eu configuro a Jvm aumentando a memória, mas como disse o Leozin, minha aplicação 'código"
deve está preparada p isso? como?

abraços

Seu tomcat está configurado pra receber quantas conexões ?

http://tomcat.apache.org/tomcat-6.0-doc/config/http.html wrote:Each incoming request requires a thread for the duration of that request. If more simultaneous requests are received than can be handled by the currently available request processing threads, additional threads will be created up to the configured maximum (the value of the maxThreads attribute). If still more simultaneous requests are received, they are stacked up inside the server socket created by the Connector, up to the configured maximum (the value of the acceptCount attribute. Any further simultaneous requests will receive "connection refused" errors, until resources are available to process them.

[]'s

Virtual Machine Man Membro desde: 26/04/2007 14:32:30 Mensagens: 586 Offline

Aonde posso ver esta informação?

Notícias, artigos e o maior fórum brasileiro sobre Java