BlogJava--随笔分类-文件处理

正则表达式笔记

leekiang — Wed, 21 Apr 2010 04:30:00 GMT

String regex = "";//取链接
       Pattern pattern = Pattern.compile(regex, Pattern.CASE_INSENSITIVE);
       Matcher mt = pattern.matcher(str);
       while (mt.find()) {
       String s=mt.group();
       }
        String regex2 = ">.*?";// 标题部分
        String regex3 = "imgs/[([0-9])]+.(jpg|gif|png|bmp)";//取图片

输入例子可产生正则表达式
http://sourceforge.net/projects/quickrex/

在线测试
http://www.fileformat.info/tool/regex.htm

leekiang 2010-04-21 12:30 发表评论

dom4j用法

leekiang — Sun, 25 Oct 2009 10:43:00 GMT

    String xml="0";
   应该使用Document document = saxReader.read(new ByteArrayInputStream(xml.getBytes()));
如果使用Document   document   =   saxReader.read(xml);会报no protocol 异常
如果xml的encoding="utf-8"，则xml.getBytes()要改为xml.getBytes("utf-8"),否则会报错

Element root=  document.getRootElement();
得到root后取子元素，既可以
Element e=root.element("test");
也可以
for (Iterator it = root.elementIterator(); it.hasNext();) {
Element e = (Element) it.next();
    String n = e.getName();
   String v=e.getStringValue()
}

http://www.javatx.cn/clubPage.jsp?ccStyle=0&ccID=15&tID=1922
http://lavasoft.blog.51cto.com/62575/66953

leekiang 2009-10-25 18:43 发表评论

纯文本文档格式

leekiang — Sun, 30 Aug 2009 13:34:00 GMT

DocBook或 reStructuredText都是纯文本文档格式。也可以考虑xlst
StructuredText和reStructuredText不一样

Sphinx简单来说，是一个文档生成工具，用于把reStructuredText 格式的源文件生成诸如HTML, PDF, LaTex一类的格式。编辑者无须亲自处理文本的格式, 程序会自动根据源文件里的设置产生格式, 以及自动生成章节链接等工作。
包括 Python , Django 的文档，全部是使用Sphinx 生成的
http://sphinx.pocoo.org/

我是如何写博客的
http://www.cnblogs.com/mindsbook/archive/2009/07/09/how_do_i_write_blog.html
http://www.cnblogs.com/mindsbook/archive/2009/07/15/how_can_i_write_blog_part2.html
该文主要介绍了如何使用 restructuredText (简称为reST)来写博客，并且介绍了使用 google code 来管理博客源文件的方法。

另，Sphinx是一个基于SQL的全文检索引擎，可以结合MySQL,PostgreSQL做全文搜索，它可以提供比数据库本身更专业的搜索功能，使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口，如PHP,Python,Perl,Ruby等，同时为MySQL 也设计了一个存储引擎插件

txt2tags 支持带数字编号的标题
从txt2tags回归markdown http://sinolog.it/?p=503

再找找比较好的wiki：
MediaWiki全球最著名的开源wiki引擎，运行于PHP+MySQL环境。
ViKi，就是 VIM WiKi 的缩写。 WiKi 是一种非常方便快捷地组织信息的方式，而 ViKi 作为一种“Personal WiKi”，能够非常快捷地完成个人主页的制作， ViKi 可以支持许多很复杂，功能很强大的语法。deplate是viki的编译工具。

Javascript闭包真经http://w3er.com/blog/2009/03/master-javascript-closure/

Stack Overflow和GitHub都在用markdown
wmd(http://wmd-editor.com,https://github.com/derobins/wmd)是一个专门为Markdown做的在线编辑器,StackOverflow和qingbo.net也用了
https://github.com/philc/vimium/blob/master/README.markdown
Markdown 语法
支持列编辑模式的编辑器
showoff支持用编写markdown脚本的方式在浏览器里显示ppt，例子
在Vim中发布博客内容到WordPress (reStructuredText)

目前最完善的介绍轻量级标记语言的资料：http://en.wikipedia.org/wiki/Lightweight_markup_language
以后不要叫结构化文本了，因为Structured Text已有另外的含义，见维基百科

leekiang 2009-08-30 21:34 发表评论

POI处理Excel公式的乱码问题

leekiang — Wed, 29 Jul 2009 07:59:00 GMT

前几天做项目的过程中，利用到Apache项目中的POI来实现基于Excel的数据模板输出，其中利用公式的方式嵌入超链接进行网页链接访问。
自己做了一些处理EXCEL单元格的方法，但在进行公式处理时，由于POI的问题，显示的公式信息一直都是乱码，后来在网上找到一些朋友关于这些问题的解决方法，感觉帮助很大。因此，结合自己的实践经验，把修改POI内部源码的过程写出来，以其对资料做一整理，希望对后来的朋友也有所帮助。

1、首先，上网找到POI的发布版本的源码，我下的是poi-src-2.5.1-final-20040804.zip这个版本。
2、找到StringPtg.java这个文件，在解压后的\src\java\org\apache\poi\hssf\record\formula文件夹下面
3、利用文本编辑工具对StringPtg.java进行编辑
4、找到public StringPtg(byte [] data, int offset)这个方法，
对其修改如下
/** Create a StringPtg from a byte array read from disk */
public StringPtg(byte [] data, int offset)
{
offset++;
field_1_length = data[offset];
field_2_options = data[offset+1];
if (fHighByte.isSet(field_2_options)) {
// modified by rainsoft
// in excel chinese is stored two bytes HIGH bytes,LOW bytes
// field_3_string= StringUtil.getFromUnicode(data,offset+2,field_1_length);
field_3_string= StringUtil.getFromUnicodeHigh(data,offset+2,field_1_length);
}else {
field_3_string=StringUtil.getFromCompressedUnicode(data,offset+2,field_1_length);
}

//setValue(new String(data, offset+3, data[offset+1] + 256*data[offset+2]));
}
其中主要利用getFromUnicodeHigh方法替换原有的方法进行处理。
5、再查找StringPtg(String value)，做如下的修改，

public StringPtg(String value) {
if (value.length() >255) {
throw new IllegalArgumentException("String literals in formulas cant be bigger than 255 characters ASCII");
}
this.field_2_options=0;
// add by rainsoft
// two bytes char options must be "1"
try {
if (value.length()!=value.getBytes("GBK").length)
this.field_2_options=1;
} catch (Exception e) {
}
// end add
this.fHighByte.setBoolean(field_2_options, false);
this.field_3_string=value;
this.field_1_length=(byte)value.length(); //for the moment, we support only ASCII strings in formulas we create
}

6、至此对源文件的修改就结束了，下一步则需要对其进行编译输出。
7、利用docs/howtobuild.html的描述进行编译输出。
8、成功编译输出的POI???????.jar文件，复制到原有的编译路径，替换到原有的文件即可，最好删除原有的 POI文件。
http://topic.csdn.net/t/20060309/10/4602637.html

leekiang 2009-07-29 15:59 发表评论

用poi生成链接

leekiang — Tue, 21 Oct 2008 14:11:00 GMT

1，
一个需求，要求报表生成的Excel表格支持超链接。例如点击Excel内的公司名，自动打开浏览器并连到该公司的网站上去。在Excel里面选中所需的单元格，右键弹出属性，选超链接就能输入相应的地址了，既然Excel支持超链接。那就没有什么借口说不能实现了。:).

翻了翻POI的文档，很容易就找到了解决方案。在POI中让单元格实现超链接功能，可以用Hyperlink 函数。HYPERLINK函数包含两个参数，第一个参数是指向的地址，第二个参数是显示的字符串

cell = row.createCell(colNumber)。
cell.setCellType(HSSFCell.CELL_TYPE_FORMULA);
cell.setCellFormula("HYPERLINK(\"" + "Http://www.google.ca"+ "\",\"" + "Google Canada"+ "\")");
或cell.setCellFormula("HYPERLINK(\"[workbook.xls]'sheet2'!A1\",\"homepage\")"); //HYPERLINK("#明细!A1","homepage"),#代表本工作簿，来源http://club.excelhome.net/thread-54081-1-1.html

现在超链接单元格看起来和一般的单元格没有分别，除非你把鼠标放上去才会变成手行光标。为了和一般的习惯相符，还需要把字符颜色变成蓝色和加上下划线。这就要用到 style了、

HSSFCellStyle linkStyle = workbook.createCellStyle();
HSSFFont cellFont= workbook.createFont();
cellFont.setUnderline((byte) 1);
cellFont.setColor(HSSFColor.BLUE.index);
linkStyle.setFont(cellFont);

最后把style应用到cell上去就大功告成了。
cell.setCellStyle(linkStyle);

以上修改自http://sunnylei2008.blogspot.com/2007/07/poihssf.html
和http://diystyle.javaeye.com/blog/132093
还有http://blog.csdn.net/xunyiren/archive/2007/03/08/1524533.aspx

2，
以下来自http://www.javaeye.com/topic/25569,是用jxl解决的。
看了POI文档，找到一个LinkedDataFormulaField 和LinkedDataRecord，jxl文档里有 Hyperlink,现在想对一个excel中的一组sheet做一个索引，方便查找每张sheet,
String outputFile="D:/导出接口.xls";
try
{
Workbook wb=Workbook.getWorkbook(new File(outputFile)); //Excel获得文件
//打开一个文件的副本，并且指定数据写回到原文件
WritableWorkbook book=Workbook.createWorkbook(new File(outputFile),wb);
WritableSheet sheet=book.createSheet("导出目标",0); //添加一个工作表
String[] oriSheetNames=wb.getSheetNames(); //获得源excel文件中的所有sheet名称
for(int i=0;i {
    sheet.addCell(new Label(0,i+1,String.valueOf(i+1))); //第一列写入编号
/**
* public WritableHyperlink(int col,int row,java.lang.String desc,WritableSheet sheet,int destcol,int destrow)
* Constructs a hyperlink to some cells within this workbook
* col - the column containing this hyperlink
* row - the row containing this hyperlink
* desc - the cell contents for this hyperlink
* sheet - the sheet containing the cells to be linked to
* destcol - the column number of the first destination linked cell
* destrow - the row number of the first destination linked cell
* */
sheet.addHyperlink(new WritableHyperlink(1,i+1,oriSheetNames[i],book.getSheet(oriSheetNames[i]),0,0));
book.write();
book.close();
wb.close();
}catch(IOException e)
{
    System.out.println("异常: "+e);
}
catch(BiffException e)
{
    System.out.println("异常: "+e);
}
catch(RowsExceededException e)
{
    System.out.println("异常: "+e);
}
catch(WriteException e)
{
    System.out.println("异常: "+e);
}

3，公式里的乱码如何解决,来源:http://topic.csdn.net/t/20060309/10/4602637.html,作者阿水
前几天做项目的过程中，利用到Apache项目中的POI来实现基于Excel的数据模板输出，其中利用公式的方式嵌入超链接进行网页链接访问。
自己做了一些处理EXCEL单元格的方法，但在进行公式处理时，由于POI的问题，显示的公式信息一直都是乱码，后来在网上找到一些朋友关于这些问题的解决方法，感觉帮助很大。因此，结合自己的实践经验，把修改POI内部源码的过程写出来，以其对资料做一整理，希望对后来的朋友也有所帮助。

1、首先，上网找到POI的发布版本的源码，我下的是poi-src-2.5.1-final-20040804.zip这个版本。
2、找到StringPtg.java这个文件，在解压后的\src\java\org\apache\poi\hssf\record\formula文件夹下面
3、利用文本编辑工具对StringPtg.java进行编辑
4、找到public StringPtg(byte [] data, int offset)这个方法，
对其修改如下
/** Create a StringPtg from a byte array read from disk */
public StringPtg(byte [] data, int offset)
{
offset++;
field_1_length = data[offset];
field_2_options = data[offset+1];
if (fHighByte.isSet(field_2_options)) {
// modified by rainsoft
// in excel chinese is stored two bytes HIGH bytes,LOW bytes
// field_3_string= StringUtil.getFromUnicode(data,offset+2,field_1_length);
field_3_string= StringUtil.getFromUnicodeHigh(data,offset+2,field_1_length);
}else {
field_3_string=StringUtil.getFromCompressedUnicode(data,offset+2,field_1_length);
}

//setValue(new String(data, offset+3, data[offset+1] + 256*data[offset+2]));
}
其中主要利用getFromUnicodeHigh方法替换原有的方法进行处理。
5、再查找StringPtg(String value)，做如下的修改，

public StringPtg(String value) {
if (value.length() >255) {
throw new IllegalArgumentException("String literals in formulas cant be bigger than 255 characters ASCII");
}
this.field_2_options=0;
// add by rainsoft
// two bytes char options must be "1"
try {
if (value.length()!=value.getBytes("GBK").length)
this.field_2_options=1;
} catch (Exception e) {
}
// end add
this.fHighByte.setBoolean(field_2_options, false);
this.field_3_string=value;
this.field_1_length=(byte)value.length(); //for the moment, we support only ASCII strings in formulas we create
}

6、至此对源文件的修改就结束了，下一步则需要对其进行编译输出。
7、利用docs/howtobuild.html的描述进行编译输出。

后注:按上面的办法,中文问题是解决了，但点击链接还是报"引用无效",观察了一会，原来是sheet名带有括号造成的。

leekiang 2008-10-21 22:11 发表评论

YAML格式解析

leekiang — Thu, 19 Jun 2008 12:27:00 GMT

YAML是"Yet Another Markup Language(另一种标记语言)"的缩写，读音"yamel",或"雅梅尔"。这种格式大约是2001年出现的
写YAML要比XML快得多(无需关闭标签或引号)，并且比'.ini'文档功能更强(ini文档不支持层次)

为什么不是XML呢？因为：

YAML的可读性好。
YAML和脚本语言的交互性好。
YAML使用实现语言的数据类型。
YAML有一个一致的信息模型。
YAML易于实现。

上面5条也就是XML不足的地方。同时，YAML也有XML的下列优点：

YAML可以基于流来处理；
YAML表达能力强，扩展性好。

总之，YAML试图用一种比XML更敏捷的方式，来完成XML所完成的任务。

语法

Structure通过空格来展示。Sequence里的项用"-"来代表，Map里的键值对用":"分隔.

这几乎就是所有的语法了. 例子

name: John Smith
age: 37
spouse:
    name: Jane Smith
    age: 25
children:
    -   name: Jimmy Smith
        age: 15
    -   name: Jenny Smith
        age : 12

JYaml（http://jyaml.sourceforge.net/）是YAML的Java实现。
YAML官方网站 http://www.yaml.org
http://www.ibm.com/developerworks/cn/xml/x-cn-yamlintro/
http://www.sudu.cn/info/html/edu/php/20071219/114014.html
http://www.javaeye.com/topic/205679 （定义工作流,用ruby解析）

leekiang 2008-06-19 20:27 发表评论

vCalendar(ics)，vCard格式及Outlook

leekiang — Thu, 03 Apr 2008 08:15:00 GMT

http://hi.baidu.com/mn232nm/blog/item/aaa034adb50022094a36d620.html
http://hi.baidu.com/feige05/blog/item/3d7339184c8d9d0334fa4166.html
http://support.microsoft.com/kb/287625/zh-cn
按vcalendar开发理论：用JAVA生成vcalendar代码，然后发邮件出去，当用outlook2003版本以上的MS outlook收到该邮件时，可以把这个vcalendar加到outlook的calendar中去。
.ics格式的RFC2445规范
XML 问题: 比微格式更轻巧：纤格式（Picoformat）
iCalendar在移动设备

leekiang 2008-04-03 16:15 发表评论

poi笔记

leekiang — Fri, 14 Mar 2008 14:26:00 GMT

注意用poi解析器从word中抽取文本后，输入流会关闭，原因如下:
InputStreams passed to POIFSFileSystem are now automatically closed. A warning is generated for people who might've relied on them not being closed before, and a wrapper to restore the old behaviour is supplied(POI-DEVELOPERS)
据说在POI3.0.3会修正该问题。

1,poi格子里的文本如何换行
加"\n",同时设置style.setWrapText(true);

2,style.setFillForegroundColor(HSSFColor.GREY_25_PERCENT.index);
style.setFillPattern(HSSFCellStyle.SOLID_FOREGROUND);
设置前景色,有半透明的效果

3，sheet.addMergedRegion(new Region(0, (short) 0, 0, (short) 1));// 起始cell行、起始cell列、结束cell行、结束cell列。
   被合并了的单元格不需要生成。
   单元格合并後设置边框只在原第一个上有效，如果想应用的合并後的整体，则需要一个个的Create出单元格并应用样式，这个明显是一个不太方便的操作，期待POI下一版的改进了
   注意行是y轴,列是x轴。
   poi-contrib下的HSSFRegionUtil可以设置合并区域的边框的颜色和样式
例如:HSSFRegionUtil.setLeftBorderColor(HSSFColor.BLACK.index,row,sheet,wb);

4，sheet.createFreezePane(2, 1);
冻结窗口,左上角为行参和列参的起始处，从0开始

5,列宽sheet.setColumnWidth((short) 0, (short) (35.7 * 110));//第一个参数为列的下标，110为想设置的宽度像素。
http://www.cnblogs.com/interboy/archive/2007/08/27/872028.html

6,行高row.setHeight((short) (15.625 * 100));//100为要设置的行高的像素
   row.setHeightInPoints((short)100);//应该可以达到同样的效果

7, POI將註解的部分，視做一個文字方塊，我們可以設定它的大小及內容，然後將之指定給某特定的Cell。
节录部分Code如下：
HSSFPatriarch patr = sheet.createDrawingPatriarch();
HSSFComment comment = patr.createComment(new HSSFClientAnchor(0, 0, 0, 0, (short)4, 2, (short) 8, rowCount));
HSSFRichTextString str = new HSSFRichTextString("TEST");
comment.setString(str);
comment.setAuthor("TEST");
cell.setCellComment(comment);

8，sheet的中文名
workbook.setSheetName(0,"统计",(short)1);//第三个参数为编码方式，HSSFWorkbook.ENCODING_UTF_16=1
sheet的名称不允许出现重复。

9，先定义一个基本样式，再复制样式的属性。不知何故不能clonebean
HSSFCellStyle headerStyle = workbook.createCellStyle();
PropertyUtils.copyProperties(headerStyle, baseStyle);//

10, 输出，中文名
        response.reset();
       response.setContentType("applicationnd.ms-excel");
       response.addHeader("Content-disposition",
               "attachment;filename="+new String("统计".getBytes("GBK"), "ISO-8859-1")+".xls");
       ServletOutputStream out = response.getOutputStream();
       workbook.write(out);
       out.flush();
       out.close();

11，cell.setCellValue(new HSSFRichTextString("测试"));
在poi2.5.1里不管用,只能用cell.setCellValue("测试");
忘了二者有何区别

12，直接用workbook.getBytes()得到的文档内容的结构是有问题的,会导致打开xls时报错。
ByteArrayOutputStream bos = new ByteArrayOutputStream();
workBook.write(bos);
//ByteArrayInputStream is = new ByteArrayInputStream(workBook.getBytes());//错误
ByteArrayInputStream is = new ByteArrayInputStream(bos.toByteArray());//正确
详见 http://numenzq.javaeye.com/blog/218816

13,POI的老版本的下载地址:http://archive.apache.org/dist/jakarta/poi/release/bin

14,每个sheet有65536的最大行数限制?
   数据量非常大时，拆分为多个sheet(每个1万行)可显著降低内存占用。
   http://www.javaeye.com/topic/74835?page=3

15,可用PropertyUtils.copyProperties(newStyle, baseStyle)把baseStyle的属性拷贝到newStyle中，但Font等拷贝不了。(浅拷贝,深拷贝?)

16,POI如何复制行,设置分页符bug? 见使用POI操作Excel的几点注意事项
和http://www.blogjava.net/liaojiyong/archive/2007/11/14/160588.html

17,复制行，复制sheet
http://zhidao.baidu.com/question/66868683.html
http://www.aub.org.cn/J2SE/Article137612.html
http://zhidao.baidu.com/question/42447398.html

18,用HSSFCell的getCellType()只能判断三种类型，返回值为int 0,1,2
numeric(0), formula(2) or string(1)
但是仅仅依靠这个有时候不能完全解决问题，
有时候需要用HSSFDataFormat来共同判断：
    cell.getCellStyle().getDataFormat()
见http://poi.apache.org/apidocs/org/apache/poi/ss/usermodel/BuiltinFormats.html
https://svn.apache.org/repos/asf/poi/trunk/src/testcases/org/apache/poi/hssf/usermodel/TestHSSFDateUtil.java

19，poi3.2把以下属性或方法删掉了：
HSSFWorkbook.ENCODING_UTF_16
cell.setEncoding
所以还是继续用poi3.0.2吧

http://blog.csdn.net/impeller/archive/2007/10/29/1855368.aspx
解析Excel注释，填充并生成报表的一个例子
http://hi.baidu.com/bluewhale84/blog/item/b9ebd5c295911130e4dd3bd0.html
http://kevintuntun.bokee.com/2692649.html
http://www.ccw.com.cn/htm/center/prog/02_10_22_2.asp
http://llying.javaeye.com/blog/171455
http://hi.baidu.com/fish1996/blog/item/71412181e9825bdabd3e1eed.html(toutf8string)
poi的一个让人失望的bug

openxml4j支持excel2007

leekiang 2008-03-14 22:26 发表评论

备忘

leekiang — Mon, 25 Feb 2008 20:44:00 GMT

有关《java抽取word,pdf的四种武器》的实验和总结
Java抽取Word，PDF的四种武器
使用poi来抽取excel文本
用pdfbox解析pdf文件
poi
spring集成的Hibernate一窥
使用sqlquery
全文检索Lucene的实现方法

Ganttproject可以用来生成甘特图
文本比较http://www.incava.org/projects/java/java-diff/

leekiang 2008-02-26 04:44 发表评论

html的解析以及nekohtml的使用

leekiang — Thu, 21 Feb 2008 10:29:00 GMT

    import org.cyberneko.html.parsers.DOMFragmentParser;
     import org.apache.html.dom.HTMLDocumentImpl;
     import org.w3c.dom.DocumentFragment;
     import org.w3c.dom.Node;
     import org.w3c.dom.NodeList;
     import org.xml.sax.InputSource;
     import org.xml.sax.SAXException;

     /**
     * 从html中抽取纯文本
     *
     * @param content
     * @return
     * @throws UnsupportedEncodingException
      */
     public String extractTextFromHTML(String content)
             throws UnsupportedEncodingException {
        DOMFragmentParser parser = new DOMFragmentParser();
        DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment();
        InputStream is = new ByteArrayInputStream(content.getBytes());
         try {
            parser.parse( new InputSource(is), node);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (SAXException se) {
            se.printStackTrace();
        }

        StringBuffer newContent = new StringBuffer();
         this .getText(newContent, node);

        String str = ( new String(
                newContent.toString().getBytes( " Windows-1252 " ), " GBK " ));
         return str;
    }

     private void getText(StringBuffer sb, Node node) {
         if (node.getNodeType() == Node.TEXT_NODE) {
            sb.append(node.getNodeValue());
        }
        NodeList children = node.getChildNodes();
         if (children != null ) {
             int len = children.getLength();
             for ( int i = 0 ; i < len; i ++ ) {
                getText(sb, children.item(i));
            }
        }
    }

1，nekohtml1.9.6.1版本用到了jdk5的Arrays.hashCode等方法，为兼容jdk1.4,
故采用nekohtml1.9.6版本
2，需要xerces.jar支持
3，
   http://hi.baidu.com/walkandsing/blog/item/f5743634c6ba2e3a5bb5f5e5.html
   http://blog.csdn.net/zhou2002/archive/2008/01/19/2053911.aspx
   http://playfish.javaeye.com/blog/150184

4,
python解析html
http://lenciel.cn/docs/python-parser-of-xml/
http://hi.baidu.com/javalang/blog/item/84bac4bf731fb80f18d81fe1.html
ruby用hpricot

leekiang 2008-02-21 18:29 发表评论