qileilove

blog已经转移至github,大家请访问 http://qaseven.github.io/

Java一次性查询几十万 几百万数据解决办法

  Java查询一次性查询几十万,几百万数据解决办法。

  很早的时候写工具用的一个办法,当时是用来把百万数据打包成rar文件。

  所以用了个笨办法。 希望高手指导一下,有什么好方法没有啊。

  1、先批量查出所有数据,例子中是一万条一批。

  2、在查出数据之后把每次的数据按一定规则存入本地文件。

  3、获取数据时,通过批次读取,获得大批量数据。

  以下是查询数据库。按批次查询

  1. public static void  getMonthDataList() {  
  2.         ResultSet rs = null;  
  3.         Statement stat = null;  
  4.         Connection conn = null;  
  5.         List<DataBean> list = new ArrayList<DataBean>();  
  6.         try {  
  7.             conn = createConnection();  
  8.             if(conn!=null){  
  9.                 SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");  
  10.                 SimpleDateFormat timesdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  
  11.                 String nowDate = sdf.format(new Date());  
  12.                 Config.lasttimetext = timesdf.format(new Date());  
  13.                 String lastDate = sdf.format(CreateData.addDaysForDate(new Date(), 30));  
  14.                 stat = conn.createStatement(ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_UPDATABLE);  
  15.                 int lastrow = 0;  
  16.                 int datanum = 0;  
  17.                 String countsql = "SELECT count(a.id) FROM trip_special_flight a" +  
  18.                 " where a.dpt_date >= to_date('"+nowDate+"','yyyy-mm-dd') " +  
  19.                 "and a.dpt_date <= to_date('"+lastDate+"','yyyy-mm-dd') and rownum>"+lastrow+" order by a.get_time  desc";  
  20.                 rs = stat.executeQuery(countsql);  
  21.                 while (rs.next()) {  
  22.                     datanum = rs.getInt(1);  
  23.                 }  
  24.                 int onerun = 10000;  
  25.                 int runnum = datanum%onerun==0?(datanum/onerun):(datanum/onerun)+1;  
  26.                 for(int r =0;r<runnum;r++){  
  27.                     System.out.println("getMonthDataList--"+datanum+" 开始查询第"+(r+1)+"批数据");  
  28.                     String sql = "SELECT * FROM  (SELECT rownum rn, a.dpt_code, a.arr_code,a.dpt_date,a.airways,a.flight," +  
  29.                     "a.cabin,a.price FROM trip_special_flight a" +  
  30.                     " where a.dpt_date >= to_date('"+nowDate+"','yyyy-mm-dd') " +  
  31.                     "and a.dpt_date <= to_date('"+lastDate+"','yyyy-mm-dd')  order by rownum  asc) WHERE rn > "+lastrow;  
  32.                     stat.setMaxRows(onerun);  
  33.                     stat.setFetchSize(1000);  
  34.                     rs = stat.executeQuery(sql);  
  35.                     String text = "";  
  36.                     int i = 1;  
  37.                     while (rs.next()) {  
  38.                         text += rs.getString(2)+"|"+rs.getString(3)+"|"+rs.getDate(4)+"|"+rs.getString(5)+"|"+rs.getString(6)+"|"+rs.getString(7)+"|"+rs.getString(8)+"||";  
  39.                         if(i%1000==0){  
  40.                             FileUtil.appendToFile(Config.tempdatafile, text);  
  41.                             text = "";  
  42.                         }  
  43.                         i++;  
  44.                     }  
  45.                     if(text.length()>10){  
  46.                         FileUtil.appendToFile(Config.tempdatafile, text);  
  47.                     }  
  48.                     lastrow+=onerun;  
  49.                 }  
  50.             }  
  51.         } catch (Exception e) {  
  52.             e.printStackTrace();  
  53.         } finally {  
  54.             closeAll(rs, stat, conn);  
  55.         }  

  56.     }
 -----java一次性查询几十万,几百万数据解决办法

  存入临时文件之后,再用读取大量数据文件方法。

  设置缓存大小BUFFER_SIZE ,Config.tempdatafile是文件地址。

  1. package com.yjf.util;  
  2. import java.io.File;  
  3. import java.io.RandomAccessFile;  
  4. import java.nio.MappedByteBuffer;  
  5. import java.nio.channels.FileChannel;  
  6.  
  7. public class Test {  
  8.     public static void main(String[] args) throws Exception {  
  9.         final int BUFFER_SIZE = 0x300000; // 缓冲区为3M  
  10.         File f = new File(Config.tempdatafile);  
  11.  //  来源博客http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/  
  12.         int len = 0;  
  13.         Long start = System.currentTimeMillis();  
  14.         for (int z = 8; z >0; z--) {  
  15.             MappedByteBuffer inputBuffer = new RandomAccessFile(f, "r")  
  16.                     .getChannel().map(FileChannel.MapMode.READ_ONLY,  
  17.                             f.length() * (z-1) / 8, f.length() * 1 / 8);  
  18.             byte[] dst = new byte[BUFFER_SIZE];// 每次读出3M的内容  
  19.             for (int offset = 0; offset < inputBuffer.capacity(); offset += BUFFER_SIZE) {  
  20.                 if (inputBuffer.capacity() - offset >= BUFFER_SIZE) {  
  21.                     for (int i = 0; i < BUFFER_SIZE; i++)  
  22.                         dst[i] = inputBuffer.get(offset + i);  
  23.                 } else {  
  24.                     for (int i = 0; i < inputBuffer.capacity() - offset; i++)  
  25.                         dst[i] = inputBuffer.get(offset + i);  
  26.                 }  
  27.                 int length = (inputBuffer.capacity() % BUFFER_SIZE == 0) ? BUFFER_SIZE  
  28.                         : inputBuffer.capacity() % BUFFER_SIZE;  
  29.                 len += new String(dst, 0, length).length();  
  30.                 System.out.println(new String(dst, 0, length).length()+"-"+(z-1)+"-"+(8-z+1));  
  31.             }  
  32.         }  
  33.         System.out.println(len);  
  34.         long end = System.currentTimeMillis();  
  35.         System.out.println("读取文件文件花费:" + (end - start) + "毫秒");  
  36.     }  
  37.  
  38. }

  读取大量数据文件方法。

posted on 2012-02-29 09:34 顺其自然EVO 阅读(180) 评论(0)  编辑  收藏


只有注册用户登录后才能发表评论。


网站导航:
 
<2012年2月>
2930311234
567891011
12131415161718
19202122232425
26272829123
45678910

导航

统计

常用链接

留言簿(54)

随笔分类

随笔档案

文章分类

文章档案

搜索

最新评论

阅读排行榜

评论排行榜