BlogJava-Jiangshachina-随笔分类-OpenJDK

Play OpenJDK: 允许你的包名以"java."开头(原)

Sha Jiang — Sun, 01 Nov 2015 12:06:00 GMT

Play OpenJDK: 允许你的包名以"java."开头

本文是Play OpenJDK的第二篇，介绍了如何突破JDK不允许自定义的包名以"java."开头这一限制。这一技巧对于基于已有的JDK向java.*中添加新类还是有所帮助的。(2015.11.02最后更新)

无论是经验丰富的Java程序员，还是Java的初学者，总会有一些人或有意或无意地创建一个包名为"java"的类。但出于安全方面的考虑，JDK不允许应用程序类的包名以"java"开头，即不允许java，java.foo这样的包名。但javax，javaex这样的包名是允许的。

1. 例子
比如，以OpenJDK 8为基础，臆造这样一个例子。笔者想向OpenJDK贡献一个同步的HashMap，即类SynchronizedHashMap，而该类的包名就为java.util。SynchronizedHashMap是HashMap的同步代理，由于这两个类是在同一包内，SynchronizedHashMap不仅可以访问HashMap的public方法与变量，还可以访问HashMap的protected和default方法与变量。SynchronizedHashMap看起来可能像下面这样：

package java.util;

public class SynchronizedHashMap<K, V> {

    private HashMap<K, V> hashMap = null;

    public SynchronizedHashMap(HashMap<K, V> hashMap) {
        this.hashMap = hashMap;
    }

    public SynchronizedHashMap() {
        this(new HashMap<>());
    }

    public synchronized V put(K key, V value) {
        return hashMap.put(key, value);
    }

    public synchronized V get(K key) {
        return hashMap.get(key);
    }

    public synchronized V remove(K key) {
        return hashMap.remove(key);
    }

    public synchronized int size() {
        return hashMap.size; // 直接调用HashMap.size变量，而非HashMap.size()方法
    }
}

2. ClassLoader的限制
使用javac去编译源文件SynchronizedHashMap.java并没有问题，但在使用编译后的SynchronizedHashMap.class时，JDK的ClassLoader则会拒绝加载java.util.SynchronizedHashMap。
设想有如下的应用程序：

import java.util.SynchronizedHashMap;

public class SyncMapTest {

    public static void main(String[] args) {
        SynchronizedHashMap<String, String> syncMap = new SynchronizedHashMap<>();
        syncMap.put("Key", "Value");
        System.out.println(syncMap.get("Key"));
    }
}

使用java命令去运行该应用时，会报如下错误：

Exception in thread "main" java.lang.SecurityException: Prohibited package name: java.util
    at java.lang.ClassLoader.preDefineClass(ClassLoader.java:659)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:758)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at SyncMapTest.main(SyncMapTest.java:6)

方法ClassLoader.preDefineClass()的源代码如下：

private ProtectionDomain preDefineClass(String name,
        ProtectionDomain pd)
{
    if (!checkName(name))
        throw new NoClassDefFoundError("IllegalName: " + name);

    if ((name != null) && name.startsWith("java.")) {
        throw new SecurityException
            ("Prohibited package name: " +
            name.substring(0, name.lastIndexOf('.')));
    }
    if (pd == null) {
        pd = defaultDomain;
        }

    if (name != null) checkCerts(name, pd.getCodeSource());

    return pd;
}

很清楚地，该方法会先检查待加载的类全名(即包名+类名)是否以"java."开头，如是，则抛出SecurityException。那么可以尝试修改该方法的源代码，以突破这一限制。
从JDK中的src.zip中拿出java/lang/ClassLoader.java文件，修改其中的preDefineClass方法以去除相关限制。重新编译ClassLoader.java，将生成的ClassLoader.class，ClassLoader$1.class，ClassLoader$2.class，ClassLoader$3.class，ClassLoader$NativeLibrary.class，ClassLoader$ParallelLoaders.class和SystemClassLoaderAction.class去替换JDK/jre/lib/rt.jar中对应的类。
再次运行SyncMapTest，却仍然会抛出相同的SecurityException，如下所示：

Exception in thread "main" java.lang.SecurityException: Prohibited package name: java.util
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:760)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at SyncMapTest.main(SyncMapTest.java:6)

此时是由方法ClassLoader.defineClass1()抛出的SecurityException。但这是一个native方法，那么仅通过修改Java代码是无法解决这个问题的(JDK真是层层设防啊)。原来在Hotspot的C++源文件hotspot/src/share/vm/classfile/systemDictionary.cpp中有如下语句：

const char* pkg = "java/";
if (!HAS_PENDING_EXCEPTION &&
    !class_loader.is_null() &&
    parsed_name != NULL &&
    !strncmp((const char*)parsed_name->bytes(), pkg, strlen(pkg))) {
  // It is illegal to define classes in the "java." package from
  // JVM_DefineClass or jni_DefineClass unless you're the bootclassloader
  ResourceMark rm(THREAD);
  char* name = parsed_name->as_C_string();
  char* index = strrchr(name, '/');
  *index = '\0'; // chop to just the package name
  while ((index = strchr(name, '/')) != NULL) {
    *index = '.'; // replace '/' with '.' in package name
  }
  const char* fmt = "Prohibited package name: %s";
  size_t len = strlen(fmt) + strlen(name);
  char* message = NEW_RESOURCE_ARRAY(char, len);
  jio_snprintf(message, len, fmt, name);
  Exceptions::_throw_msg(THREAD_AND_LOCATION,
    vmSymbols::java_lang_SecurityException(), message);
}

修改该文件以去除掉相关限制，并按照本系列的第一篇文章中介绍的方法去重新构建一个OpenJDK。那么，这个新的JDK将不会再对包名有任何限制了。

3. 覆盖Java核心API？
开发者们在使用主流IDE时会发现，如果工程有多个jar文件或源文件目录中包含相同的类，这些IDE会根据用户指定的优先级顺序来加载这些类。比如，在Eclipse中，右键点击某个Java工程-->属性-->Java Build Path-->Order and Export，在这里调整各个类库或源文件目录的位置，即可指定加载类的优先级。
当开发者在使用某个开源类库(jar文件)时，想对其中某个类进行修改，那么就可以将该类的源代码复制出来，并在Java工程中创建一个同名类，然后指定Eclipse优先加息自己创建的类。即，在编译时与运行时用自己创建的类去覆盖类库中的同名类。那么，是否可以如法炮制去覆盖Java核心API中的类呢？
考虑去覆盖类java.util.HashMap，只是简单在它的put()方法添加一条打印语。那么就需要将src.zip中的java/util/HashMap.java复制出来，并在当前Java工程中创建一个同名类java.util.HashMap，并修改put()方法，如下所示：

package java.util;

public class HashMap<K,V> extends AbstractMap<K,V>
    implements Map<K,V>, Cloneable, Serializable {
    .
    public V put(K key, V value) {
        System.out.printf("put - key=%s, value=%s%n", key, value);
        return putVal(hash(key), key, value, false, true);
    }

}

此时，在Eclipse环境中，SynchronizedHashMap使用的java.util.HashMap被认为是上述新创建的HashMap类。那么运行应用程序SyncMapTest后的期望输出应该如下所示：

put - key=Key, value=Value
Value

但运行SyncMapTest后的实际输出却为如下：

Value

看起来，新创建的java.util.HashMap并没有被使用上。这是为什么呢？能够"想像"到的原因还是类加载器。关于Java类加载器的讨论超出了本文的范围，而且关于该主题的文章已是汗牛充栋，但本文仍会简述其要点。
Java类加载器由下至上分为三个层次：引导类加载器(Bootstrap Class Loader)，扩展类加载器(Extension Class Loader)和应用程序类加载器(Application Class Loader)。其中引导类加载器用于加载rt.jar这样的核心类库。并且引导类加载器为扩展类加载器的父加载器，而扩展类加载器又为应用程序类加载器的父加载器。同时JVM在加载类时实行委托模式。即，当前类加载器在加载类时，会首先委托自己的父加载器去进行加载。如果父加载器已经加载了某个类，那么子加载器将不会再次加载。
由上可知，当应用程序试图加载java.util.Map时，它会首先逐级向上委托父加载器去加载该类，直到引导类加载器加载到rt.jar中的java.util.HashMap。由于该类已经被加载了，我们自己创建的java.util.HashMap就不会被重复加载。
使用java命令运行SyncMapTest程序时加上VM参数-verbose:class，会在窗口中打印出形式如下的语句：

[Opened /home/ubuntu/jdk1.8.0_custom/jre/lib/rt.jar]
[Loaded java.lang.Object from /home/ubuntu/jdk1.8.0_custom/jre/lib/rt.jar]

[Loaded java.util.HashMap from /home/ubuntu/jdk1.8.0_custom/jre/lib/rt.jar]
[Loaded java.util.HashMap$Node from /home/ubuntu/jdk1.8.0_custom/jre/lib/rt.jar]

[Loaded java.util.SynchronizedHashMap from file:/home/ubuntu/projects/test/classes/]
Value
[Loaded java.lang.Shutdown from /home/ubuntu/jdk1.8.0_custom/jre/lib/rt.jar]
[Loaded java.lang.Shutdown$Lock from /home/ubuntu/jdk1.8.0_custom/jre/lib/rt.jar]

从中可以看出，类java.util.HashMap确实是从rt.jar中加载到的。但理论上，可以通过自定义类加载器去打破委托模式，然而这就是另一个话题了。

Sha Jiang 2015-11-01 20:06 发表评论

Play OpenJDK: 构建你自己的JDK(原)

Sha Jiang — Fri, 30 Oct 2015 15:17:00 GMT

Play OpenJDK: 构建你自己的JDK

计划使Play OpenJDK成为一组介绍如何使用并参与OpenJDK项目的系列文章。本文是该系列的第一篇文章，它基于OpenJDK 8的源代码介绍了构建一个属于自己的JDK方法。(2015.10.30最后更新)

1. OpenJDK
曾经的Sun Microsystems. Inc，也就是Java语言的发明者，将它的JDK代码贡献出来，成立了一个开源项目，即OpenJDK。
    同时，它也是一个社区。相关的公司，组织和个人在这个社区中协作开发OpenJDK。社区根据不同的领域或项目提供了一系列的邮件列表，利益相关方或对其感兴趣的个人都可以订阅这些邮件列表去进行关注和讨论。例如，Java核心API的邮件列表是core-libs-dev@openjdk.java.net，关于java.lang，java.util等核心API的新特性都会在这里进行讨论，并对其最终的实现代码进行审查。任何将要进入OpenJDK版本库的源代码，无论是产品代码(即，要随JDK发布的程序)，还是测试代码，都需要在社区中进行公开的代码审查。
    选择一个自己感兴趣的领域或项目，加入它的邮件列表，长期跟踪它的发展，看着专家们的讨论、争论推动JDK的演进，学习开发者们的API设计与代码实现，...，这些对自己的成长都是极有帮助的。也许，还能看到一些有趣的八卦;-)

2. 准备工作
在几种主流操作系统，Linux(如Ubuntu和Fedora)，Windows(7和8)，MacOS(Lion和Moutain Lion)，中都可以构建OpenJDK，具体的细节可以参见官方的一篇文档。
    本文选择使用Ubuntu 14.04。坦白地说，选择使用Ubuntu，实是因为在Linux环境中构建OpenJDK非常简单。若在Windows中进行构建，则需要安装Visual Studio C++编译器。MacOS？嗯，我没有MBP。可能更多人平时是使用Windows，但安装一个Linux也不麻烦。先安装免费的VM工具VirtaulBox，再去下载Ubuntu的ISO文件，然后使用VirtualBox去安装Ubuntu。VirtualBox简单易用，网上的相关资料也非常的多。
    OpenJDK的源文件版本库基于Mercurial(hg)，它是一个与Git相似的分布式版本控制工具。在Ubuntu中安装Mercurial只需要执行命令

$ sudo apt-get install mercurial

OpenJDK中各项目的源代码版本库的路径均在http://hg.openjdk.java.net/之下，在这里可以找到6，7，8，9和Jigsaw的源代码。其中JDK 8的最新开发版本库路径为http://hg.openjdk.java.net/jdk8u/jdk8u-dev/。
另外，构建OpenJDK时需要一个启动JDK，本文选择构建OpenJDK 8，那么启动JDK的版本应不低于7。

3. 下载源代码
克隆版本库，

$ hg clone http://hg.openjdk.java.net/jdk8u/jdk8u-dev/ jdk8-src
requesting all changes
adding changesets
adding manifests
adding file changes
added 1570 changesets with 1958 changes to 141 files
updating to branch default
85 files updated, 0 files merged, 0 files removed, 0 files unresolved

进入源代码目录

$ cd jdk8-src/

OpenJDK的源代码版本库实际上包含多个独立的子版本库，需要执行如下脚本去分别下载各个子版本库的源代码，

$ sh get_source.sh
# Repositories:  corba jaxp jaxws langtools jdk hotspot nashorn
                corba:   hg clone http://hg.openjdk.java.net/jdk8u/jdk8u-dev/corba corba
                 jaxp:   hg clone http://hg.openjdk.java.net/jdk8u/jdk8u-dev/jaxp jaxp
                corba:   requesting all changes
                 jaxp:   requesting all changes

4. 构建
调用configure进行预构建，其中的参数--with-boot-jdk用于指定启动JDK的路径。如果启动JDK的java命令已存在于PATH环境变量中，该参数可以忽略。

$ sh configure --with-boot-jdk=/path/to/boot/jdk

该过程会检测构建环境是否符合要求，如有问题，它会给出提示。比如，

configure: error: Could not find X11 libraries. You might be able to fix this by running 'sudo apt-get install libX11-dev libxext-dev libxrender-dev libxtst-dev libxt-dev'.

此时根据提示安装所需要的库即可。再重新执行上述configure命令，可能还会提示缺少其它的库，那么再次根据提示进行安装。如此反复，只到预构建成功完成。
最后就是进行构建，直接执行如下命令，

$ make all

在此过程中可以会遇到一些警告，不必理会，耐心等待...完成后，会出现如下的汇总信息，

----- Build times -------
Start 2015-10-30 22:11:10
End 2015-10-30 22:52:54
00:01:01 corba
00:01:08 demos
00:06:49 docs
00:19:37 hotspot
00:01:47 images
00:00:35 jaxp
00:00:49 jaxws
00:08:23 jdk
00:01:09 langtools
00:00:25 nashorn
00:41:44 TOTAL
-------------------------
Finished building OpenJDK for target 'all'

在当前路径下会生成一个build目录，构建好的JDK就在那里面。新JDK的具体路径类似于build/linux-x86_64-normal-server-release/images/jdk。可以执行如下命令去测试这个JDK，

$ build/linux-x86_64-normal-server-release/images/jdk/bin/java -version
openjdk version "1.8.0-internal"
OpenJDK Runtime Environment (build 1.8.0-internal-ubuntu_2015_10_30_22_07-b00)
OpenJDK 64-Bit Server VM (build 25.66-b00, mixed mode)

Sha Jiang 2015-10-30 23:17 发表评论