BlogJava-庄周梦蝶-随笔分类-node.js

Another URL Shortener using NodeJS

dennis — Sun, 25 Nov 2012 12:31:00 GMT

It's my weekend project——node-shorten: URL Shortener just like t.cn,goo.gl etc.

Is is written in NodeJS,using express.js for MVC framework,and using MySQL for storage and Redis for caching.

A demo online: http://fnil.me/

The project is at https://github.com/killme2008/node-shorten

Feel free to modify and use it.Have fun.

dennis 2012-11-25 20:31 发表评论

Zookeeper的web管理应用

dennis — Sun, 05 Jun 2011 17:13:00 GMT

Update: 如果遇到在search不存在的path报段错误，这是node-zookeeper的一个bug，我暂时修复了下并提交了pull request，你可以暂时用我修改的node-zookeeper https://github.com/killme2008/node-zookeeper

    我们已经开始在产品使用zookeeper了，那么维护工具也必然需要，所谓兵马未动，粮草先行。请同事帮忙看过几个开源项目后，并没有特别让人满意的。
    我想要的功能比较简单。首先，希望能将zookeeper集群的数据展示为树形结构，跟zookeeper模型保持一致。可以逐步展开每层的节点，每次展开都是延迟加载从zk里取数据，这样不会对zk造成太大压力。其次，除了展示树形结构外，我还希望它能展示每个path的属性和数据，更进一步，如果数据是文本的，我希望它可编辑。当然，因为编辑功能是比较危险的行为，我还希望这个管理工具有个简单的授权验证机制。

    最终，我自己写了这么个东西，取名为node-zk-browser，基于node.js的express.js框架和node-zookeeper客户端实现的。我将它放在了github上

    https://github.com/killme2008/node-zk-browser

    你可以自己搭建这个小app， npm几乎能帮你搞定大部分工作。界面不美观，实用为主，几张运行时截图

dennis 2011-06-06 01:13 发表评论

Node.js Undocumented(2)

dennis — Sat, 04 Jun 2011 10:09:00 GMT

    Node.js Undocumented(1)
    Node.js Undocumented(2)

    写这种系列blog，是为了监督自己，不然我估计我不会有动力写完。这一节，我将介绍下Buffer这个module。js本身对文本友好，但是处理二进制数据就不是特别方便，因此node.js提供了Buffer模块来帮助你处理二进制数据，毕竟node.js的定位在网络服务端，不能只对文本协议友好。

    Buffer模块本身其实没有多少未公开的方法，重要的方法都在文档里提到了，有两个方法稍微值的提下。

    Buffer.get(idx)

    跟buffer[idx]是一样的，返回的是第idx个字节，返回的结果是数字，如果要转成字符，用String.fromCharCode(code)即可。

    Buffer.inspect()
    返回Buffer的字符串表示，每个字节用十六进制表示，当你调用console.dir的时候打印的就是这个方法返回的结果。

    Buffer真正值的一提的是它的内部实现。Buffer在node.js内部的cpp代码对应的是SlowBuffer类（src/node_buffer.cc)，但是两者之间并不是一一对应。对于创建小于8K的Buffer，其实是从一个pool里slice出来，只有大于8K的Buffer才是每次都new一个SlowBuffer。查看源码（lib/buffer.js)：

Buffer.poolSize = 8 * 1024;
    if (this.length > Buffer.poolSize) {
      // Big buffer, just alloc one.
      this.parent = new SlowBuffer(this.length);
      this.offset = 0;

    } else {
      // Small buffer.
      if (!pool || pool.length - pool.used < this.length) allocPool();
      this.parent = pool;
      this.offset = pool.used;
      pool.used += this.length;
    }

    因此，我们可以修改Buffer.poolSize这个“静态”变量来改变池的大小

    Buffer.poolSize
    Buffer类创建的池大小，大于此值则每次new一个SlowBuffer，否则从池中slice返回一个Buffer，如果池剩余空间不够，则新创建一个SlowBuffer做为池。下面的例子打印这个值并修改成16K:

console.log(Buffer.poolSize);
Buffer.poolSize=16*1024;

SlowBuffer类
SlowBuffer类我们可以直接使用的，如果你不想使用Buffer类的话，SlowBuffer类有Buffer模块的所有方法实现，例子如下：

var SlowBuffer=require('buffer').SlowBuffer
var buf=new SlowBuffer(1024)
buf.write("hello",'utf-8');
console.log(buf.toString('utf-8',0,5));
console.log(buf[0]);
var sub=buf.slice(1,3);
console.log(sub.length);

    请注意，SlowBuffer默认不是Global的，需要require buffer模块。

    使用建议和性能测试

    Buffer的这个实现告诉我们，要使用好Buffer类还是有讲究的，每次创建小于8K的Buffer最好大小刚好能被8k整除，这样能充分利用空间；或者每次创建大于8K的Buffer，并充分重用。我们来看一个性能测试，分别循环1000万次创建16K,4096和4097大小的Buffer，看看耗时多少：

function benchmark(size,repeats){
    var total=0;
    console.log("create %d size buffer for %d times",size,repeats);
    console.time("times");
    for(var i=0;i<repeats;i++){
        total+=new Buffer(size).length;
    }
    console.timeEnd("times");
}
var repeats=10000000;

console.log("warm up")
benchmark(1024,repeats);
console.log("start benchmark")
benchmark(16*1024,repeats);
benchmark(4096,repeats);
benchmark(4097,repeats);

创建1024的Buffer是为了做warm up。在我机器上的输出：

start benchmark
create 16384 size buffer for 10000000 times
times: 81973ms
create 4096 size buffer for 10000000 times
times: 80452ms
create 4097 size buffer for 10000000 times
times: 138364ms

    创建4096和创建4097大小的Buffer，只差了一个字节，耗时却相差非常大，为什么会这样？读者可以自己根据上面的介绍分析下，有兴趣的可以留言。
    另外，可以看到创建16K和创建4K大小的Buffer，差距非常小，平均每秒钟都能创建10万个以上的Buffer，这个效率已经足以满足绝大多数网络应用的需求。

dennis 2011-06-04 18:09 发表评论

node-leveldb的memcached adapter

dennis — Tue, 31 May 2011 08:45:00 GMT

leveldb是google最近开源的一个实现，但是它仅是个lib，还需要包装才能使用。node-leveldb就是一个用node.js包装leveldb的项目，你可以用javascript访问leveldb。node-leveldb仅提供API，不提供网络接口供外部访问。我fork了个分支，搞了个memcached的adapter，将node-leveldb的API暴露为memcached的文本协议，这样一来你可以直接用现有的memcached client甚至直接telnet上去进行测试。感兴趣的朋友可以测试下。adpater就一个文件memcached.js。

fork的分支在：
    https://github.com/killme2008/node-leveldb

    编译node-leveldb之后，执行

node memcached-adpater/memcached.js

即可启动memcached adapter在11211端口，你可以telnet上去测试。目前仅支持get/set/delete/quit协议，不支持flag和exptime。

dennis 2011-05-31 16:45 发表评论

Node.js Undocumented(1)

dennis — Mon, 30 May 2011 16:33:00 GMT

    node.js的API文档做的不是很好，有些部分干脆没文档，最终还是要看代码才能解决。我这里将记录下看源码过程中看到的一些API并补充一些测试例子。在玩node.js的朋友可以瞧瞧。

    process.reallyExit(status)

    用于进程主动退出，status设置退出的状态码。请注意，reallyExit退出的进程不会调用'exit'事件，下面的代码不会有任何输出：

var interval=setInterval(function(){
process.reallyExit(1);
},1000);
process.on('exit',function(){
console.log("hello");
});

process._kill(pid,sig)

用于给指定pid的进程发送指定信号（类似kill命令），这是个“private”方法，你需要慎重使用，下面的代码会杀死自身的进程：

var pid=process.pid
process._kill(pid,9);

process.binding(name)

非常有用的方法，很奇怪API文档里竟然没提到，这个方法用于返回指定名称的内置模块。例如下面的代码将打印node_net模块所有的可以调用的方法或变量（很多是文档没有提到的并且没有exports的，后续我会介绍下）：

var binding=process.binding('net');
console.dir(binding);

   process.dlopen(filename,target)
   看源码注释说是用来动态加载node.module的动态链接库的，以后尝试写扩展的时候也许可以尝试一下。

   定时器
   Node.js的定时器模块的实现是有讲究的，对于超时时间after<=0的callback，会在内部new一个Timer并start（本质是使用libev的timer机制）；但是对于after>0的callback，却不是这样。因为在实际应用中，大多数定时器事件的超时时间都是一样的，如果每个事件都new一个Timer并start，代价太高。因此node.js采用了一个类似哈希表的方案，将相同after超时时间的定时器事件组织成链表，以after为key，以链表为value整体构成一张表。每个链表只new一个Timer,这个Timer负责整个链表的定时器事件，当某个事件超时调用后，利用ev_timer_again来高效地重新设置超时时间。
   如果你确实希望对于after>0的定时器也每次new一个Timer来处理，那也可以做到，这就要用到前面提到的process.binding方法来获取timer模块,一个例子：

var Timer = process.binding('timer').Timer;

var timer=new Timer();
timer.callback=function(){
console.log("callback called");
};
timer.start(1000,0);

    timer.callback
    设定timer的回调函数，当超时的时候调用。

    timer.start(after,repeat)
    启动定时器，在after毫秒之后调用超时回调；如果repeat==0，则自动停止定时器；如果repeat>0，则在repeat毫秒之后再次调用callback，以repeat毫秒为间隔不断重复下去。

    ps.这篇blog刚好是我的第499篇blog，不出意外，第500篇还是继续介绍node.js。

dennis 2011-05-31 00:33 发表评论