BlogJava-code loser-随笔分类-Java

（转）TB级别的网页容器实现方法参考

爱吃鱼头 — Thu, 04 Jun 2009 13:04:00 GMT

摘要: 转自javaeye。一个高性能的Web爬虫，必须有一个合适的网页容器。该容量最大的特点是要能够通过URL直接存取网页内容，并且要求有很高的性能，在一个千万级别的容器中存取一万次的时间应在1分钟左右(普通PC上)。采用拆衷的办法，在文件系统的基础上建立一组大文件和一组辅助文件，辅助文件实现通过URL定位该URL代表的网页在大文件中的位置，从页实现不随文件数量增长而性能变化的快速存取。以下将描述一个简洁的实现。阅读全文

爱吃鱼头 2009-06-04 21:04 发表评论

常用中文分词- 整理收集

爱吃鱼头 — Thu, 04 Jun 2009 13:01:00 GMT

摘要: 在网上搜集并整理了一些常用中文分词包，后面慢慢补全：庖丁解牛分词包；LingPipe，开源自然语言处理的Java开源工具包；JE分词包；LibMMSeg；IKAnalyzer；PHPCWS 阅读全文

爱吃鱼头 2009-06-04 21:01 发表评论

字符集编码和编码字符集（转摘）

爱吃鱼头 — Fri, 20 Feb 2009 13:58:00 GMT

    字符集，指的是被分配了整数编号的字符集合；
    但是，编码字符集中字符被分配的整数编号，不一定就是该字符在计算机中存储时所使用的值；
    计算机中存储的字符到底使用什么二进制整数值来表示，是由字符集编码决定的。

    字符集编码决定了如何将一个字符的整数编号对应到一个二进制的整数值。
    有的编码方案简单的将该整数值直接作为其在计算机中的表示而存储，例如英文字符。
    几乎所有的字符集编码方案中，英文字母的整数编号与其在计算机内部存储的二进制形式都一致。
    但有的编码方案，例如适用于Unicode字符集的UTF-8编码形式，就将很大一部分字符的整数编号作了变换后存储在计算机中。
    以“汉”字为例，“汉”的Unicode值为0x6C49，但其编码为UTF-8格式后的值为0xE6B189（注意到变成了三个字节）。

    GB2312最初指的是一个编码字符集，其中包含了ASCII所包含的英文字符，同时加入了6763个简体汉字以及其他一些ASCII之外的符号。GB2312也有自己的编码方案，但这个方案直接使用一个字符在GB2312中的编号作为存储值（与UTF-32的做法类似）。
    我们日常说起GB2312的时候，常常即指这个字符集，也指这种编码方案。

    GBK是GB2312的后续标准，添加了更多的汉字和特殊符号，类似的是，GBK也是同时指他的字符集和他的编码。
    GBK还是现如今中文Windows操作系统的系统默认编码（这正是几乎所有网页上的，文件里的乱码问题的根源）。

    在Java中，字符只以一种编码形式存在，那就是UTF-16。
    但“在Java中”到底是指在哪里呢？就是指在JVM中，在内存中，代码里声明的每一个char，String类型的变量中。

    Python中既可以按Ascii编码，也可以按unicode编码。

爱吃鱼头 2009-02-20 21:58 发表评论

Base64编码学习和java源程序实现

爱吃鱼头 — Tue, 23 Dec 2008 09:36:00 GMT

Google Base64可以搜到相关原理和许多实现。
下面是我的实现，和SUN公司提供的参考实现。

  1 public class Base64 {
  2     static String base64_alphabet = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";
  3
  4     /**
  5      * 编码原理:将3个字节转换成4个字节( (3 X 8) = 24 = (4 X 6) )
  6      * 先读入3个字节,每读一个字节,左移8位,再右移四次,每次6位,这样就有4个字节了
  7      *
  8      * @param data
  9      * @return 编码后的Base64字符串
10      */
11     public static String Base64Encode(byte[] data) {
12         StringBuilder builder = new StringBuilder();
13         int[] temp = new int[4];
14         int len = data.length - data.length % 3;
15         for (int i = 0; i < len; i += 3) {
16             int goal = 0;
17             for (int j = 0; j < 3; j++) {
18                 goal <<= 8;
19                 goal |= (data[i + j] & 0xff);
20             }
21             for (int k = 0; k < 4; k++) {
22                 temp[k] = goal & 0x3f;
23                 goal >>= 6;
24             }
25             for (int k = 3; k >= 0; k--) {
26                 builder.append(base64_alphabet.charAt(temp[k]));
27             }
28         }
29         int index;
30         switch (data.length % 3) {
31         case 1:
32             index = data[data.length - 1] >> 2;
33             builder.append(base64_alphabet.charAt(index));
34             index = (data[data.length - 1] & 0x03) << 4;
35             builder.append(base64_alphabet.charAt(index));
36             builder.append("==");
37             break;
38         case 2:
39             index = data[data.length - 1 - 1] >> 2;
40             builder.append(base64_alphabet.charAt(index));
41             index = (data[data.length - 1 - 1] & 0x03) << 4
42                     | data[data.length - 1] >> 4;
43             builder.append(base64_alphabet.charAt(index));
44             index = (data[data.length - 1] & 0x0f) << 2;
45             builder.append(base64_alphabet.charAt(index));
46             builder.append('=');
47             break;
48         }
49         return builder.toString();
50     }
51
52     /**
53      * 解码原理:将4个字节转换成3个字节. 先读入4个6位(用或运算),每次左移6位,再右移3次,每次8位.
54      *
55      * @param data
56      *            需解码的Base64字符串。
57      * @return byte[]－解码出的字节数组
58      */
59     public static byte[] Base64Decode(String data) {
60         char[] chArray = data.toCharArray();
61         int len = chArray.length;
62         byte[] result = new byte[len * 3 / 4];
63         for (int i = 0, res_i = 0; i < len; i += 4, res_i += 3) {
64             int goal = 0;
65             int index = 0;
66             for (int k = 0; k < 4; k++) {
67                 index = base64_alphabet.indexOf(chArray[i + k]);
68                 goal <<= 6;
69                 goal |= index;
70             }
71             for (int j = 2; j >= 0; j--) {
72                 result[res_i + j] = (byte) goal;
73                 goal >>= 8;
74             }
75         }
76         // 等号=的处理
77         if (chArray[len - 1] != '=')
78             return result;
79         else if (chArray[len - 2] == '=')
80             return Arrays.copyOf(result, result.length - 2);
81         else
82             return Arrays.copyOf(result, result.length - 1);
83
84     }
85 // 将 s 进行 BASE64 编码
86     public static String getBASE64(String s) {
87         if (s == null)
88             return null;
89         return (new sun.misc.BASE64Encoder()).encode(s.getBytes());
90     }
91
92     // 将 BASE64 编码的字符串 s 进行解码
93     public static String getFromBASE64(String s) {
94         if (s == null)
95             return null;
96         BASE64Decoder decoder = new BASE64Decoder();
97         try {
98             byte[] b = decoder.decodeBuffer(s);
99             return new String(b);
100         } catch (Exception e) {
101             return null;
102         }
103     }
104 }

爱吃鱼头 2008-12-23 17:36 发表评论

Java 生成随机序列

爱吃鱼头 — Tue, 23 Dec 2008 09:32:00 GMT

摘要: 从网上总结的比较好的生成随机序列的算法：）阅读全文

爱吃鱼头 2008-12-23 17:32 发表评论

Picture Get

爱吃鱼头 — Mon, 29 Sep 2008 13:05:00 GMT

    用了Apache Jakarta Common 下的HttpClient库，把原来的BatchImageFetch程序完全修改了一番，烦人的cookie问题终于解决了。Discuz论坛是用cookie验证用户是否登录，并且时常会更新cookie。在原来初始的代码中，在socket层面上操作，维护cookie真是一件麻烦的事情。
     HttpClient可以自动的处理cookie，并且封装cookie类，要手动操作也很方便。在实际中发现，若让HttpClient自动处理cookie，还是无法维持论坛的登录状态的，因为虽然HttpClient接收了服务器端的的Http响应头中的“Set-cookie”,但并没有将Cookie应用到新的请求当中，另外通过用iehttpheaders截包就会发现，httpclient会在header里构件多个cookie项，每一项只含有一个cookie，这同IE是不一样的。IE和Firefox会把所有的cookie打包成一个，然后在这个cookie里按照分号把每一项隔开，中间有个空格。因此，在代码中，先是获取HttpClient接收到的Cookie，然后再将之打包成IE那种形式，直接设置请求头“Cookie：....”。
     用HttClient真的很方便，论坛登录，网页下载，图片下载，仅仅几行代码即可，大大的减少了工作量。

爱吃鱼头 2008-09-29 21:05 发表评论