Como posso ler um arquivo txt em java com um tamanho de 300mb??
Estou tentando dessa forma:
fileImport = new File(FacesContext.getCurrentInstance().getExternalContext().getRealPath("Active/ImportFiles/importMaterial/master.txt"));
file.renameTo(fileImport);
FileReader fileReader = new FileReader(fileImport);
BufferedReader br = new BufferedReader(fileReader);
String linha = br.readLine();
while (linha != null){
System.out.println(linha);
linha = br.readLine();
}
fileReader.close();
O arquivo carrega tranquilo e começo a leitura porém depois de 2000 linhas ± recebo o erro de Queue full
Como posso proceder para conseguir carregar/ ler este arquivo sem estourar a fila ou a memória.
Cola aqui a pilha de erros. Mas se eu tivesse que arriscar em um problema, diria que é o tamanho da heap. Tenta aumentar o tamanho da heap usando os parâmetros -Xmx e -Xms.
2014-11-10T13:56:41.551-0200|Grave: java.lang.IllegalStateException: Queue full
at java.util.AbstractQueue.add(AbstractQueue.java:98)
at java.util.concurrent.ArrayBlockingQueue.add(ArrayBlockingQueue.java:283)
at com.sun.common.util.logging.LoggingOutputStream.flush(LoggingOutputStream.java:116)
at java.io.PrintStream.write(PrintStream.java:482)
at com.sun.common.util.logging.LoggingOutputStream$LoggingPrintStream.write(LoggingOutputStream.java:392)
at sun.nio.cs.StreamEncoder.writeBytes(StreamEncoder.java:221)
at sun.nio.cs.StreamEncoder.implFlushBuffer(StreamEncoder.java:291)
at sun.nio.cs.StreamEncoder.flushBuffer(StreamEncoder.java:104)
at java.io.OutputStreamWriter.flushBuffer(OutputStreamWriter.java:185)
at java.io.PrintStream.write(PrintStream.java:527)
at java.io.PrintStream.print(PrintStream.java:669)
at com.sun.common.util.logging.LoggingOutputStream$LoggingPrintStream.print(LoggingOutputStream.java:297)
at java.io.PrintStream.println(PrintStream.java:806)
at com.sun.common.util.logging.LoggingOutputStream$LoggingPrintStream.println(LoggingOutputStream.java:279)
at org.apache.felix.gogo.runtime.threadio.ThreadPrintStream.println(ThreadPrintStream.java:200)
at br.com.saboia.utils.ImportMaterial.importMaterial(ImportMaterial.java:33)
at br.com.saboia.controller.ImportBBean.importXLS(ImportBBean.java:97)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at com.sun.el.parser.AstValue.invoke(AstValue.java:275)
at com.sun.el.MethodExpressionImpl.invoke(MethodExpressionImpl.java:304)
at org.jboss.weld.util.el.ForwardingMethodExpression.invoke(ForwardingMethodExpression.java:40)
at org.jboss.weld.el.WeldMethodExpression.invoke(WeldMethodExpression.java:50)
at com.sun.faces.facelets.el.TagMethodExpression.invoke(TagMethodExpression.java:105)
at javax.faces.component.MethodBindingMethodExpressionAdapter.invoke(MethodBindingMethodExpressionAdapter.java:87)
at com.sun.faces.application.ActionListenerImpl.processAction(ActionListenerImpl.java:102)
at javax.faces.component.UICommand.broadcast(UICommand.java:315)
at javax.faces.component.UIViewRoot.broadcastEvents(UIViewRoot.java:790)
at javax.faces.component.UIViewRoot.processApplication(UIViewRoot.java:1282)
at com.sun.faces.lifecycle.InvokeApplicationPhase.execute(InvokeApplicationPhase.java:81)
at com.sun.faces.lifecycle.Phase.doPhase(Phase.java:101)
at com.sun.faces.lifecycle.LifecycleImpl.execute(LifecycleImpl.java:198)
at javax.faces.webapp.FacesServlet.service(FacesServlet.java:646)
at org.apache.catalina.core.StandardWrapper.service(StandardWrapper.java:1682)
at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:318)
at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:160)
at org.apache.catalina.core.StandardPipeline.doInvoke(StandardPipeline.java:734)
at org.apache.catalina.core.StandardPipeline.invoke(StandardPipeline.java:673)
at com.sun.enterprise.web.WebPipeline.invoke(WebPipeline.java:99)
at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:174)
at org.apache.catalina.connector.CoyoteAdapter.doService(CoyoteAdapter.java:357)
at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:260)
at com.sun.enterprise.v3.services.impl.ContainerMapper.service(ContainerMapper.java:188)
at org.glassfish.grizzly.http.server.HttpHandler.runService(HttpHandler.java:191)
at org.glassfish.grizzly.http.server.HttpHandler.doHandle(HttpHandler.java:168)
at org.glassfish.grizzly.http.server.HttpServerFilter.handleRead(HttpServerFilter.java:189)
at org.glassfish.grizzly.filterchain.ExecutorResolver$9.execute(ExecutorResolver.java:119)
at org.glassfish.grizzly.filterchain.DefaultFilterChain.executeFilter(DefaultFilterChain.java:288)
at org.glassfish.grizzly.filterchain.DefaultFilterChain.executeChainPart(DefaultFilterChain.java:206)
at org.glassfish.grizzly.filterchain.DefaultFilterChain.execute(DefaultFilterChain.java:136)
at org.glassfish.grizzly.filterchain.DefaultFilterChain.process(DefaultFilterChain.java:114)
at org.glassfish.grizzly.ProcessorExecutor.execute(ProcessorExecutor.java:77)
at org.glassfish.grizzly.nio.transport.TCPNIOTransport.fireIOEvent(TCPNIOTransport.java:838)
at org.glassfish.grizzly.strategies.AbstractIOStrategy.fireIOEvent(AbstractIOStrategy.java:113)
at org.glassfish.grizzly.strategies.WorkerThreadIOStrategy.run0(WorkerThreadIOStrategy.java:115)
at org.glassfish.grizzly.strategies.WorkerThreadIOStrategy.access$100(WorkerThreadIOStrategy.java:55)
at org.glassfish.grizzly.strategies.WorkerThreadIOStrategy$WorkerThreadRunnable.run(WorkerThreadIOStrategy.java:135)
at org.glassfish.grizzly.threadpool.AbstractThreadPool$Worker.doWork(AbstractThreadPool.java:564)
at org.glassfish.grizzly.threadpool.AbstractThreadPool$Worker.run(AbstractThreadPool.java:544)
at java.lang.Thread.run(Thread.java:745)
Kra obrigado pela dica, tentei todas as opções que este link que passou dava, e ainda recebo a mesmo erro. Detalhe é uma aplicação Web que estou usando o glassfish como servidor de aplicação!
Esta erro de Queue full acredito que seja do glassfish 4. Tem como configurar isso para não estourar. pois é somente texto porém são arquivos grandes em torno de 300mb.
[quote=sciuba][quote=Ataxexe]Você pode usar um Scanner.
Tem alguns exemplos neste link:
Kra obrigado pela dica, tentei todas as opções que este link que passou dava, e ainda recebo a mesmo erro. Detalhe é uma aplicação Web que estou usando o glassfish como servidor de aplicação!
Esta erro de Queue full acredito que seja do glassfish 4. Tem como configurar isso para não estourar. pois é somente texto porém são arquivos grandes em torno de 300mb.
Terei de fazer um batch para importar isso?
Obrigado[/quote]
Olhando o log parece que é o “System.out.println(linha);” que está dando problema. Você realmente precisa cuspir cada linha do arquivo? Tente executar a operação sem esse “System.out.println(linha);”.
Se você estiver usando o GlassFish 4.0, mude para o 4.1 pois tem um bug que parece se aplicar ao seu caso:
no Glassfish em configurações - > server
alterei os valores máximos das threads para -1 ou seja "sem limite de tamanho" e resolveu o meu problema, e sim eu removi também os "System.out" do código.