BlogJava-庄周梦蝶-随笔分类-工具和命令

Clojure世界：利用HouseMD诊断clojure

dennis — Thu, 14 Jun 2012 18:52:00 GMT

HouseMD是淘宝的聚石写的一个非常优秀的Java进程运行时诊断和调试工具，如果你接触过btrace，那么HouseMD也许你应该尝试下，它比btrace更易用，不需要写脚本，类似strace的方式attach到jvm进程做跟踪调试。

基本的安装和使用请看这篇文档《UserGuide》，恕不重复。以下内容都假设你正确安装了housemd。

本文主要介绍下怎么用housemd诊断跟踪clojure进程。Clojure的java实现也是跑在JVM里，当然也可以用housemd。

我们以一个简单的例子开始，假设我们有如下clojure代码：

(loop [x 1]
  (Thread/sleep 1000)
  (prn x)
  (recur (inc x)))

这段很简单，只是间隔一秒不断地打印递增的数字x。我们准备用housemd跟踪这个程序的运行，首先运行这个程序，你可以用lein，也可以直接java命令运行：

java -cp clojure.jar clojure.main test.clj

运行时不断地在控制台打印数字，通过jps或者ps查询到该进程的id，假设为pid，使用housemd连接到该进程：

housemd

顺利进入housemd的交互控制台，通过help命令可以查询支持的命令：

housemd> help

quit      terminate the process.
help      display this infomation.
trace     display or output infomation of method invocaton.
loaded    display loaded classes information.

要用housemd调试clojure，你需要对clojure的实现有一点点了解，有兴趣可以看过去的一篇blog《clojure hacking guide》，简单来说，clojure的编译器会将clojure代码编译成java类并运行。对于JVM来说，clojure生成的类，跟java编译器生成类没有什么不同。
具体到上面的clojure代码，会生成一个名为user$eval1的类，user是默认的namespace，而eval1是clojure编译器自动生成的一个标示类名，通过loaded命令查询类的加载情况：

housemd> loaded user$eval1 -h
user$eval1 -> null
    - clojure.lang.DynamicClassLoader@1d25d06e
        - clojure.lang.DynamicClassLoader@1d96f4b5
            - sun.misc.Launcher$AppClassLoader@a6eb38a
                - sun.misc.Launcher$ExtClassLoader@69cd2e5f

通过-h选项打印了加载user$eval1的类加载器的层次关系，因为user$eval1是动态生成的（clojure启动过程中），因此它不在任何一个class或者jar文件中。除了查询user namespace的类之外，你还可以查询clojure.core,clojure.lang,clojure.java等任何被加载进来的类，例如查询clojure.core.prn的类,在clojure里这是一个函数，在jvm看来这只是一个类：

housemd> loaded -h core$prn
clojure.core$prn -> /Volumes/HDD/Users/apple/clojure/clojure.jar
- sun.misc.Launcher$AppClassLoader@a6eb38a
- sun.misc.Launcher$ExtClassLoader@69cd2e5f

注意，不需要完整的namespace——clojure.core，直接core$prn即可。其他也是类似。小技巧：如果你实在不知道clojure编译器生成的类名，你可以利用jvm自带的jmap命令来查询。

接下来，我们尝试用trace命令跟踪方法的运行，例如例子中的clojure代码用到了loop和recur两个sepcial form，我们跟踪下loop:

housemd> trace -t 5 core$loop
INFO : probe class clojure.core$loop
core$loop.doInvoke(Object, Object, Object, Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null
core$loop.getRequiredArity()                          sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null

core$loop.doInvoke(Object, Object, Object, Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null
core$loop.getRequiredArity()                          sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null

core$loop.doInvoke(Object, Object, Object, Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null
core$loop.getRequiredArity()                          sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null

core$loop.doInvoke(Object, Object, Object, Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null
core$loop.getRequiredArity()                          sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null

core$loop.doInvoke(Object, Object, Object, Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null
core$loop.getRequiredArity()                          sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null

INFO : Ended by timeout
INFO : reset class clojure.core$loop

在5秒内，clojure.core$loop类有两个方法各被调用了5次，doInvoke是实际的调用，而getRequiredArity用来查询loop所需要的参数个数。trace还可以跟踪到具体的方法，例如我们跟踪prn函数的调用情况：

housemd> trace -t 5 core$prn.doInvoke
INFO : probe class clojure.core$prn
core$prn.doInvoke(Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            1            1ms    clojure.core$prn@3e4ac866

core$prn.doInvoke(Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            2           <1ms    clojure.core$prn@3e4ac866

core$prn.doInvoke(Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            3           <1ms    clojure.core$prn@3e4ac866

core$prn.doInvoke(Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            4           <1ms    clojure.core$prn@3e4ac866

core$prn.doInvoke(Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            5           <1ms    clojure.core$prn@3e4ac866

INFO : Ended by timeout
INFO : reset class clojure.core$prn

trace打印了方法的调用次数（5秒内）和每次调用的时间（毫秒级别），以及调用的target object。小技巧：没有可变参数的函数生成类最终调用的是invoke方法（参数个数可能重载），有可变参数的函数调用的是doInvoke方法。

trace命令还支持打印调用堆栈到文件，例如：

trace -t 5 -d -s core$prn.doInvoke

利用-s和-d命令会将详细的调用信息输出到临时目录，临时目录的路径可以通过trace help命令查询到，在我的机器上是/tmp/trace/@host目录下。调用堆栈的输出类似：

example$square.invoke(Long) call by thread [main]
    example$eval9.invoke(test.clj:11)
    clojure.lang.Compiler.eval(Compiler.java:6465)
    clojure.lang.Compiler.load(Compiler.java:6902)
    clojure.lang.Compiler.loadFile(Compiler.java:6863)
    clojure.main$load_script.invoke(main.clj:282)
    clojure.main$script_opt.invoke(main.clj:342)
    clojure.main$main.doInvoke(main.clj:426)
    clojure.lang.RestFn.invoke(RestFn.java:421)
    clojure.lang.Var.invoke(Var.java:405)
    clojure.lang.AFn.applyToHelper(AFn.java:163)
    clojure.lang.Var.applyTo(Var.java:518)
    clojure.main.main(main.java:37)

上面这个简单的例子展示了使用housemd跟踪诊断clojure进程的方法。

自定义ns和函数的调试与此类似，假设我们有下面的clojure代码：

(ns example)
(defn square [x]
  (* x x))

(loop [x 1]
  (Thread/sleep 1000)
  (square x)
  (recur (inc x)))

ns为example，自定义函数square并定期循环调用。使用housemd诊断这段代码：

loaded -h example$square #查询square的加载情况
trace -t 10 -d -s example$square.invoke #跟踪10秒内square的调用情况

dennis 2012-06-15 02:52 发表评论

Emacs + Clojure配置的几个Tip

dennis — Fri, 18 May 2012 16:57:00 GMT

很久没更新博客了，在北京工作，忙碌并且充实。目前来说，Clojure最好的开发编辑器应该是Emacs + Slime的组合，利用swank-clojure这个项目，加上clojure-mode，可以完美地运行slime。编译、运行、跳转、文档和引用查看甚至debug都可以搞定。具体配置恕不重复，看swank-clojure的文档即可自己安装起来，或者这篇中文博客，windows上配置。

分享几个Tip，也期待大家分享你们的使用心得。

首先是自动在打开clj后缀文件的时候启动执行clojure-jack-in与slime连接，可以在emacs配置里加上个callback：

(eval-after-load "clojure-mode"
  '(progn
     (require 'slime)
     (require 'clojure-mode)
     (unless (slime-connected-p)
       (save-excursion (clojure-jack-in)))))

这样在打开clj为后缀的文件的时候，将自动启动clojure-mode执行clojure-jack-in函数并且连接slime。

将clj后缀的文件自动关联到clojure-mode:

(setq auto-mode-alist (cons '("\\.clj$" . clojure-mode) auto-mode-alist))

通常来说如果你是利用marmalade安装的，会自动关联的。

另外，启动自动匹配括号、字符串引号等的paredit模式一定要启动：

(defun paredit-mode-enable () (paredit-mode 1))
(add-hook 'clojure-mode-hook 'paredit-mode-enable)
(add-hook 'clojure-test-mode-hook 'paredit-mode-enable)

在使用clojure-mode或者clojure-test-mode的时候自动启用paredit模式，括号再也不是问题。括号匹配提示一般是开启的，如果没有，强制开启：

;; 显示括号匹配
(show-paren-mode t)
(setq show-paren-style 'parentheses)

slime更多配置，启用IO重定向（多线程IO输出都定向到SLIME repl）以及设置通讯字符编码等：

(eval-after-load "slime"
  '(progn
     (slime-setup '(slime-repl slime-fuzzy))
     ;;(setq slime-truncate-lines t)
     (setq  swank:*globally-redirect-io*  t)
     ;; (setq slime-complete-symbol-function ' slime-fuzzy-complete-symbol)
     (setq slime-net-coding-system 'utf-8-unix)))

细心的朋友可能注意到我注释了slime-fuzzy-complete的配置，这是一个支持更好的自动补全功能的SLIME插件（可以用缩写来自动补全），可惜在我机器上没有尝试配置成功，有兴趣你可以尝试下。

在REPL里支持语法高亮，一定要配置上：

(add-hook 'slime-repl-mode-hook
          (defun clojure-mode-slime-font-lock ()
            (require 'clojure-mode)
            (let (font-lock-mode)
              (clojure-mode-font-lock-setup))))

单独在clojure-mode（在其他mode里这些快捷键不会起作用）里配置快捷键可以这样:

(eval-after-load "clojure-mode"
  '(progn
     (require 'slime)
     (require 'clojure-mode)
     (define-key clojure-mode-map (kbd "M-/")  (quote slime-complete-symbol))
     (define-key clojure-mode-map (kbd "C-c s")  (quote slime-selector)))

例如我这里将M-/作为自动补全的快捷键，因为meta键在我的Mac机器上设置为command键，因此自动补全的操作习惯就跟Eclipse类似。而slime-selector是一个非常有用的函数，用来跳转到slime的一系列buffer，因此我绑定了C-c s快捷键。

额外一提，在Mac osx下，将command作为meta键:

;;; I prefer cmd key for meta
(setq mac-option-key-is-meta nil
      mac-command-key-is-meta t
      mac-command-modifier 'meta
      mac-option-modifier 'none)

最后，期待大家不吝分享你的心得。

dennis 2012-05-19 00:57 发表评论

Java程序员常用工具集

dennis — Tue, 17 Apr 2012 09:05:00 GMT

我发现很多人没办法高效地解决问题的关键原因是不熟悉工具，不熟悉工具也还罢了，甚至还不知道怎么去找工具，这个问题就大条了。我想列下我能想到的一个Java程序员会用到的常用工具。

一、编码工具

1.IDE：Eclipse或者IDEA，熟悉尽可能多的快捷键，《Eclipse常见快捷键列表》
2.插件：
(1) Findbugs，在release之前进行一次静态代码检查是必须的
(2) Clover，关心你的单元测试覆盖率
(3) Checkstyle 代码风格检查

3.构建和部署工具:ant或者maven，现在主流都是maven了吧，使用nexus搭建maven私服，再加上持续集成jenkins。代码质量不用愁。

4.版本管理工具： svn或者git

5.diff和patch

6.设置你的eclipse或者IDEA，如formatter,save actions以及code template等。代码风格，直接用google的也可以啊。《Google style guide》

7.掌握一个文本编辑器，Emacs或者VIM，熟悉常用快捷键。这在你需要在线编辑代码，或者编写其他语言代码时候特别有用。《神器圣战》

二、JDK相关

1.jstat : 观察GC情况，如：

jstat -gcutil pid 2000

2.jmap，查看heap情况，如查看存活对象列表：

jmap -histo:live pid |grep com.company |less

或者dump内存用来分析：

jmap -dump:file=test.bin pid

3.分析dump的堆文件，可以用jhat:

jhat test.bin

分析完成后可以用浏览器查看堆的情况。这个工具的分析结果还比较原始，你还可以用Eclipse MAT插件进行图形化分析，或者IBM的Heap Analyzer.

4.jvisualvm和jconsole： JVM自带的性能分析和监控工具，怎么用？请自己看文档。

5.jstack：分析线程堆栈，如

jstack pid > thread_dump

查看CPU最高的线程在干什么的方法结合top和jstack：http://www.iteye.com/topic/1114219

6.更多JVM工具，参见官方文档：http://docs.oracle.com/javase/6/docs/technotes/tools/

7.学习使用btrace分析java运行时问题。《Btrace使用简介》

8.GC日志分析工具：GC viewer、GC-console或者自己挑吧。

9.性能分析工具，除了自带的jvisualvm外，还可以用商业的jprofiler。

10.JVM参数大全

11.《JVM调优标准参数陷阱》，iteye神贴。

三、Linux工具

1.熟悉常用的shell命令，

2.设置ssh免登陆

3.使用htop替换top。

4.熟悉下strace,gdb甚至 systemtap来分析问题。

5.熟悉vmstat,iostat,sar等性能统计工具。

5.自动化部署脚本，py-fabric或者自荐下我的clojure-control。

四、其他

1.掌握一门脚本语言，Python或者Ruby，高效解决一些需要quick and dirty的任务：比如读写文件、导入导出数据库、网页爬虫等。注意不是python.com，咔咔。

2.使用Linux或者Mac os系统作为你的开发环境。

3.升级你的“硬件工具”，双屏大屏显示器、SSD、8G内存甚至更多。

4.你懂的：https://code.google.com/p/goagent/

五、如何查找工具？

1.搜索引擎，google或者baidu，《搜索技巧》

2.万能的stack overflow：http://stackoverflow.com/

3.虚心问牛人。

六、最重要的是⋯⋯

一颗永不停止学习的心。

dennis 2012-04-17 17:05 发表评论

Emacs之一键格式化

dennis — Tue, 26 Jul 2011 03:24:00 GMT

格式化源码是很常见的需求，emacs有个indent-region函数用于格式化选定的代码，前提是你处在某个非text mode下，如c-mode或者java-mode之类。如果要格式化整个文件，你需要先选定整个文件(C-x-h)，然后调用indent-region（或者 C-M-\ )。两个命令总是麻烦，我们可以定义个函数搞定这一切，并绑定在一个特定键上，实现一键格式化：

;;格式化整个文件函数
(defun indent-whole ()
  (interactive)
  (indent-region (point-min) (point-max))
  (message "format successfully"))
;;绑定到F7键
(global-set-key [f7] 'indent-whole)

将这段代码添加到你的emacs配置文件（~/.emacs)，重启emacs，以后格式化源码都可以用F7一键搞定。

dennis 2011-07-26 11:24 发表评论