posts - 82, comments - 269, trackbacks - 0, articles - 1
  语源科技BlogJava :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理

08 2011 档案

Hadoop笔记--Hadoop如何通过Bloom Filter提高Join性能

     摘要: Hadoop在做Join时, Bloom Filter可以在Mapper阶段就帮助过滤掉大部分无用数据, 同时也不需要把大量的List数据复制到每个Mapper节点. 相比下面的几种方法十分具有优势.

1) 在Reduce阶段进行Join,这样运算量比较小.(这个适合被Join的数据比较小的情况下.)

2) 压缩字段,对数据预处理,过滤不需要的字段.





  阅读全文

posted @ 2011-08-22 21:43 itspy 阅读(1642) | 评论 (0)  编辑 |

JAVA里面的一个奇淫巧计(类似于匿名类)

     摘要: class Student {
public String email="lilao#163.com";
//下面这个代码符合语法吗?这段代码有实际用处吗?
{System.out.println("Hello, I'm in Student: "+getClass());}

}
  阅读全文

posted @ 2011-08-12 15:09 itspy 阅读(522) | 评论 (0)  编辑 |

JAXP throw Exception when validate XML with SAX

posted @ 2011-08-10 18:12 itspy 阅读(515) | 评论 (0)  编辑 |