BlogJava-小码哥-文章分类-Java语言学习

Java程序如何限速(控制下载和上传速度)

Barrie — Thu, 18 Oct 2012 08:34:00 GMT

好久没有在这里写点东西了，要养成书写记录的习惯。

这里简单的讨论一下java设计网络程序中如何控制上传和下载速度，我们常见的FTP，HTTP，BT等协议都是TCP的，但是现在流行的utorrent却基于UDP实现了自己UTP协议(UDP+拥塞控制)，不管使用什么协议，站在I/O的角度来说，限速的控制思路都是一样的。

思路很简单，如下：

1.假设下载或者上传速度上限是m (KB/s),那么发送一个固定的字节数据(假设是n字节)的时间花费是：n/m；
2.假设现在要发送n字节的数据，那么理论所需的时间应该是n/m，而在实际情况下，发送n字节的数据只花费了t秒，那么发送该发送线程就应该睡眠n/m-t秒，这样就基本实现了速度的控制。

代码以TCP为例
速度控制

1 package com.actiontec.net.bandwidth;
2
3 /**
4  *
5  * @author Le
6  *
7  */
8 public class BandwidthLimiter {
9
10     /* KB */
11     private static Long KB = 1024l;
12
13     /* The smallest count chunk length in bytes */
14     private static Long CHUNK_LENGTH = 1024l;
15
16     /* How many bytes will be sent or receive */
17     private int bytesWillBeSentOrReceive = 0;
18
19     /* When the last piece was sent or receive */
20     private long lastPieceSentOrReceiveTick = System.nanoTime();
21
22     /* Default rate is 1024KB/s */
23     private int maxRate = 1024;
24
25     /* Time cost for sending CHUNK_LENGTH bytes in nanoseconds */
26     private long timeCostPerChunk = (1000000000l * CHUNK_LENGTH)
27             / (this.maxRate * KB);
28
29     /**
30      * Initialize a BandwidthLimiter object with a certain rate.
31      *
32      * @param maxRate
33      *            the download or upload speed in KBytes
34      */
35     public BandwidthLimiter(int maxRate) {
36         this.setMaxRate(maxRate);
37     }
38
39     /**
40      * Set the max upload or download rate in KB/s. maxRate must be grater than
41      * 0. If maxRate is zero, it means there is no bandwidth limit.
42      *
43      * @param maxRate
44      *            If maxRate is zero, it means there is no bandwidth limit.
45      * @throws IllegalArgumentException
46      */
47     public synchronized void setMaxRate(int maxRate)
48             throws IllegalArgumentException {
49         if (maxRate < 0) {
50             throw new IllegalArgumentException("maxRate can not less than 0");
51         }
52         this.maxRate = maxRate < 0 ? 0 : maxRate;
53         if (maxRate == 0)
54             this.timeCostPerChunk = 0;
55         else
56             this.timeCostPerChunk = (1000000000l * CHUNK_LENGTH)
57                     / (this.maxRate * KB);
58     }
59
60     /**
61      * Next 1 byte should do bandwidth limit.
62      */
63     public synchronized void limitNextBytes() {
64         this.limitNextBytes(1);
65     }
66
67     /**
68      * Next len bytes should do bandwidth limit
69      *
70      * @param len
71      */
72     public synchronized void limitNextBytes(int len) {
73         this.bytesWillBeSentOrReceive += len;
74
75         /* We have sent CHUNK_LENGTH bytes */
76         while (this.bytesWillBeSentOrReceive > CHUNK_LENGTH) {
77             long nowTick = System.nanoTime();
78             long missedTime = this.timeCostPerChunk
79                     - (nowTick - this.lastPieceSentOrReceiveTick);
80             if (missedTime > 0) {
81                 try {
82                     Thread.sleep(missedTime / 1000000,
83                             (int) (missedTime % 1000000));
84                 } catch (InterruptedException e) {
85                     e.printStackTrace();
86                 }
87             }
88             this.bytesWillBeSentOrReceive -= CHUNK_LENGTH;
89             this.lastPieceSentOrReceiveTick = nowTick
90                     + (missedTime > 0 ? missedTime : 0);
91         }
92     }
93 }
94

下载控制

1 package com.actiontec.net.bandwidth;
2
3 import java.io.IOException;
4 import java.io.InputStream;
5
6 /**
7  * @author Le
8  *
9  */
10 public class DownloadLimiter extends InputStream {
11     private InputStream is = null;
12     private BandwidthLimiter bandwidthLimiter = null;
13
14     public DownloadLimiter(InputStream is, BandwidthLimiter bandwidthLimiter)
15     {
16         this.is = is;
17         this.bandwidthLimiter = bandwidthLimiter;
18     }
19     @Override
20     public int read() throws IOException {
21         if(this.bandwidthLimiter != null)
22             this.bandwidthLimiter.limitNextBytes();
23         return this.is.read();
24     }
25
26     public int read(byte b[], int off, int len) throws IOException
27     {
28         if (bandwidthLimiter != null)
29             bandwidthLimiter.limitNextBytes(len);
30         return this.is.read(b, off, len);
31     }
32 }

同样，上传控制

1 package com.actiontec.net.bandwidth;
2
3 import java.io.IOException;
4 import java.io.OutputStream;
5
6 /**
7  * @author Le
8  *
9  */
10 public class UploadLimiter extends OutputStream {
11     private OutputStream os = null;
12     private BandwidthLimiter bandwidthLimiter = null;
13
14     public UploadLimiter(OutputStream os, BandwidthLimiter bandwidthLimiter)
15     {
16         this.os = os;
17         this.bandwidthLimiter = bandwidthLimiter;
18     }
19
20     @Override
21     public void write(int b) throws IOException {
22         if (bandwidthLimiter != null)
23             bandwidthLimiter.limitNextBytes();
24         this.os.write(b);
25     }
26
27     public void write(byte[] b, int off, int len) throws IOException {
28         if (bandwidthLimiter != null)
29             bandwidthLimiter.limitNextBytes(len);
30         this.os.write(b, off, len);
31     }
32
33 }

对于一个TCP socket

1 ServerSocket socket = new ServerSocket();
2 //其它初始化略

1 //从socket中以一定的速率读数据
2 //```java
3 DownloadLimiter dl = new DownloadLimiter(socket.getInputStream(), new BandwidthLimiter(6250));
4 is = new DataInputStream(dl);
5
6 //读数据
7 int len = is.readInt();
8 ByteBuffer buffer = ByteBuffer.allocate(4 + len);
9 buffer.putInt(len);
10 is.readFully(buffer.array(), 4, buffer.remaining());
11 //```
12
13 //以一定的速率写数据到socket
14 //```java
15 UploadLimiter ul = new UploadLimiter(socket.getOutputStream(), new BandwidthLimiter(6250));
16 ul.write();
17 //```

在多线程环境下也可以使用上述的方法。最后附图是任务管理器的网络利用率图6250KB/s（也就是50000kb/s,附图中网络利用率也在5%左右，所以应该这个做法还算准确）

Barrie 2012-10-18 16:34 发表评论

openlayers小结(有参考项目代码)

Barrie — Mon, 11 Oct 2010 12:42:00 GMT

摘要: 最近一段时间里，又做了一个跟openlayers相关的项目，但是到目前为止，我对openlayers还是不怎么了解，做东西也只是参考了openlayers的例子，以及自己的一些对openlayers用法的一些猜测。openlayers是一个用js实现的GIS前端框架，我的js目前还是打酱油的水平，要是没有jquery，那就基本写不了几行js代码了。js那是相当的强大，再加上VML\SVG、HTML... 阅读全文

Barrie 2010-10-11 20:42 发表评论

appengine支持Java了

Barrie — Wed, 08 Apr 2009 06:40:00 GMT

刚刚登录appengine的时候才发现开始支持java了。
上午的时候还没有。

对java的比较熟悉，但是还是喜欢比较简洁的python

http://code.google.com/intl/zh-CN/appengine/docs/java/overview.html

http://googleappengine.blogspot.com/2009/04/seriously-this-time-new-language-on-app.html

这是注册试用后google appengine给发的邮件:

Hello,

Thanks for signing up to try Google App Engine for Java! Your account has now
been activated, so you can begin building applications with our new Java
runtime.

Please note that this is still an early look at our support for the Java
language and you may encounter issues during development. We look forward to
hearing your feedback! To learn more, please visit:

http://code.google.com/appengine/docs/java/overview.html

To start creating applications with Google App Engine, simply follow this link
(you may need to sign in with your burgundy.loh@gmail.com Google Account) and
verify your account with a mobile phone number if you have not already done so:

http://appengine.google.com/

If you are having trouble verifying your account via SMS please fill
out the following form and your account will be reviewed and enabled
as soon as possible:

http://appengine.google.com/waitlist/sms_issues

Thanks!
The Google App Engine Team

Java is a registered trademark of Sun Microsystems, Inc.

Barrie 2009-04-08 14:40 发表评论

中国各城市的经纬度数据(精确到县级城市)

Barrie — Thu, 12 Mar 2009 12:34:00 GMT

经纬度数据收集自维北有斗-天文爱好者的乐园
编写这篇博文有几个目的：
首先认识了两个单词

latitude [lat·i·tude || 'lætɪtuːd /-tjuːd] n. 纬度; 回旋余地, 自由; 纬度地区

longitude [lon·gi·tude || 'lɑndʒɪtuːd /'lɒndʒɪtjuːd] n. 经度; 经线

1.学习dom4j的简单用法
2.做一个方便使用的全国城市经纬度数据库
3.利用google天气api做一个全面的天气预报服务
4.学习用python编写webservice

内容：
1.学习dom4j的简单用法
收集了的经纬度都是按照城市分开的单独的htm文件，我已经处理过为符合html4.0标准的html文件了，即所有的标识都是成对的，这里可以下载这些文件(点击下载经纬度html包)
(1)如何使用dom4j读入xml文档

使用dom4j读入xml文档代码片段

(2)如何遍历xml文档的所有结点
这样就读入了这个xml文档，并获得了这个xml文档对象的根结点，由于xml文档是一个树形结构，这样就很容易遍历它所有的结点了。
这里根据自己的需要，测试使用了两种遍历方法，一种是根据树的结构编写递归程序，一种就是直接使用循环，还有都dom4j自带的visitor模式访问也很好用，这里有篇参考文档，可以看看(查看)

使用递归遍历

这里提供的xml文档层数为2，直接循环即可

直接循环遍历

关于visitor模式的使用，请参看上面给出的参考文档

(3)创建新的xml文档

创建xml文档

整个合并所有html页为一个xml的代码如下

完整的代码


import java.io.File;
import java.io.FileWriter;
import java.util.Iterator;
import org.dom4j.Document;
import org.dom4j.DocumentHelper;
import org.dom4j.Element;
import org.dom4j.io.OutputFormat;
import org.dom4j.io.SAXReader;
import org.dom4j.io.XMLWriter;
/**
 * @author canvas
 *
 */
public class GIS {
public void createXMLFile(String filename) throws Exception{
//使用辅助方法创建文档对象
Document res = DocumentHelper.createDocument();
//添加文档跟结点country
Element rootElement = res.addElement("country");
//给根节点添加属性name，值为"中国"
rootElement.addAttribute("name", "中国");
//打开目录
File file = new File("G:\\workspace\\jwd\\jwd");
//打开目录下所有的xml文档
File[] files = file.listFiles();
//依次操作每个xml文档
for(int i = 0; i < files.length; i ++){
//获取文件名，去掉文件扩展名
String[] name = files[i].getName().split("\\.");
//在根结点下添加子节点province
Element childElement = rootElement.addElement("province");
//添加属性name，值为文件名
childElement.addAttribute("name", name[0].trim());
//创建reader
SAXReader reader = new SAXReader();
//根据实际情况设置编码
reader.setEncoding("GBK");
Document doc = reader.read(files[i]);
//获得xml文档的根节点
Element root = doc.getRootElement();
//遍历所有的结点
this.visitAll(root, childElement);
}
//格式化即将输出的xml，让它看起来整齐点
OutputFormat format = OutputFormat.createPrettyPrint();
/*将document中的内容写入文件中 */
XMLWriter writer = new XMLWriter(new FileWriter(new File(filename)),format);
writer.write(res);
writer.close(); 
}
public  void visitAll(Element root, Element child){
// 枚举所有子节点
for ( Iterator i = root.elementIterator(); i.hasNext(); ) {
Element element = (Element) i.next();
//System.out.println(stringTrim(element.getText()));
/*if(this.stringTrim(element.getTextTrim()).equals("")){
               return;
           } 
           else {
                Element tmp = child.addElement("city");
                visitAll(element, tmp);
           }*/
Iterator j = element.elementIterator();
Element tmpElement = (Element)j.next();
if(!(stringTrim(tmpElement.getTextTrim()).equals("城市名")))
{
Element tmp = child.addElement("city");
tmp.addAttribute("name", 
stringTrim(tmpElement.getTextTrim()).trim());
tmpElement = (Element)j.next();
tmp.addAttribute("longitude", 
stringTrim(tmpElement.getTextTrim()).trim());
tmpElement = (Element)j.next();
tmp.addAttribute("latitude", 
stringTrim(tmpElement.getTextTrim()).trim());
}
}
}
public String stringTrim(String str){
//去掉空格和全角空格
String[] tmp = str.split("\\s| ");
StringBuffer sb = new StringBuffer();
for(int i = 0; i < tmp.length; i ++){
sb.append(tmp[i].trim());
}
return sb.toString();
}
/**
     * @param args
     */
public static void main(String[] args) {
try {
new GIS().createXMLFile("d:\\GI-China.xml");
} catch (Exception e) {
e.printStackTrace();
}
}
}

2.做一个方便使用的全国城市经纬度数据库
经过上面的操作，一个完整的全国城市经纬度数据库就做好了，只不过它是xml格式的，看起来还不错，下载这个数据库

生成的xml展示

3.利用google天气api做一个全面的天气预报服务
google提供的天气api可以有两种方式访问，
一种是
http://www.google.com/ig/api?hl=zh-cn&weather=,,,30670000,104019996
30670000为纬度，104019996为经度，这个是把上面的xml中的经纬度乘以了10^6(10的六次方)，这个方法有个好处，就是可以根据经纬度获得天气预报，自然预报地区也可变得精确些
另一种是
http://www.google.com/ig/api?weather=Beijing
这个链接比较简单，但是支持的城市比较少，所以还是使用第一种方式比较好，于是才整理好了所有城市的经纬度

访问上面的链接，google返回的xml内容看起来是这样的

google返回的xml

对于返回的xml中的，可以这样构造链接获取google提供的图片
取其中的cn_cloudy.gif，然后放在http://www.google.cn/ig/images/weather/之后，生成的链接是
http://www.google.cn/ig/images/weather/cn_cloudy.png
这样这个天气api就基本构思好了

4.学习用python编写webservice(待续……)
将这个服务编写为一个webservice，决定使用python去写，所以要学习一下python了

Barrie 2009-03-12 20:34 发表评论

打造ICTCLAS JNI For Java

Barrie — Tue, 06 May 2008 06:40:00 GMT

声明:ICTCLAS以及我修改ICTCLAS JNI For Java的版权均归原作者所有，未经原作者允许，请勿作其它商业用途
首先下载ICTCLAS Beta版本公开源代码:点击下载
我使用的是Visual studio 2005开发环境，源码使用VC6开发的，现在把这个工程转移到VS2005下。我使用的方法比较笨，基本上是属于体力+暴力型的，不过自己觉得爽就可以了
在VS2005里新建Win32项目FREEICTCLAS,在application Settings选项里选中Dll和Empty Project,然后新建以下过滤器(New Filter)，并且将原项目的源码及其目录结构copy到现在的win32项目的目录下(过滤器和项目目录示意图)

示意图(点击前面+号展开)

这样这个win32工程基本就建完了。
观察ICTCLAS源代码后编写以下带有native声明的方法的java类，只实现了头两个方法，第三个暂未实现，与ICTCLAS接口基本保持一致
代码如下:

FreeICTCLAS.java(点击+展开)

然后在命令行输入Javac FreeICTCLAS.java编译FreeICTCLAS.java
生成FreeICTCLAS.class文件后，再使用javah FreeICTCLAS生成FreeICTCLAS.h，代码如下：

/* DO NOT EDIT THIS FILE - it is machine generated */
#include <jni.h>
/* Header for class FreeICTCLAS */

#ifndef _Included_FreeICTCLAS
#define _Included_FreeICTCLAS
#ifdef __cplusplus
extern "C" {
#endif
/*
* Class:     FreeICTCLAS
* Method:    FreeICTCLAS_Init
* Signature: (II)Z
*/
JNIEXPORT jboolean JNICALL Java_FreeICTCLAS_FreeICTCLAS_1Init
  (JNIEnv *, jobject, jint, jint);

/*
* Class:     FreeICTCLAS
* Method:    FreeICTCLAS_ParagraphProcess
* Signature: (Ljava/lang/String;)Ljava/lang/String;
*/
JNIEXPORT jstring JNICALL Java_FreeICTCLAS_FreeICTCLAS_1ParagraphProcess
  (JNIEnv *, jobject, jstring);

/*
* Class:     FreeICTCLAS
* Method:    FreeICTCLAS_FileProcess
* Signature: (Ljava/lang/String;Ljava/lang/String;)Z
*/
JNIEXPORT jboolean JNICALL Java_FreeICTCLAS_FreeICTCLAS_1FileProcess
  (JNIEnv *, jobject, jstring, jstring);

#ifdef __cplusplus
}
#endif
#endif

将FreeICTCLAS.h拷贝到win32项目所在目录中，再将其添加到项目中，接下来就是编写FreeICTCLAS.cpp实现头文件里方法
主要代码如下：

#include "FreeICTCLAS.h"
#include "util.h"
#include "globeVar.h"
#include <string.h>
#include <stdlib.h>
/*
* Class:     FreeICTCLAS
* Method:    FreeICTCLAS_Init
* Signature: (II)Z
*/
JNIEXPORT jboolean JNICALL Java_FreeICTCLAS_FreeICTCLAS_1Init
(JNIEnv *env, jobject obj, jint OperateType, jint OutputFormat)
{
    m_ICTCLAS.m_nOperateType = OperateType;
    m_ICTCLAS.m_nOutputFormat = OutputFormat;
    return JNI_TRUE;
}
/*
* Class:     FreeICTCLAS
* Method:    FreeICTCLAS_ParagraphProcess
* Signature: (Ljava/lang/String;)Ljava/lang/String;
*/
JNIEXPORT jstring JNICALL Java_FreeICTCLAS_FreeICTCLAS_1ParagraphProcess
(JNIEnv *env, jobject obj, jstring sParagraph)
{
    char *sResult,*sSource;
    sSource = jstringTochar(env, sParagraph);
    if(m_ICTCLAS.m_nOutputFormat!=2)
        sResult=new char [(strlen(sSource)+13)*3];
    else
        sResult=new char [(strlen(sSource)+13)*50];

    if(!m_ICTCLAS.ParagraphProcessing(sSource,sResult))
        exit(1);
    else
        return chartoJstring(env,sResult);
}
/*
* Class:     FreeICTCLAS
* Method:    FreeICTCLAS_FileProcess
* Signature: (Ljava/lang/String;Ljava/lang/String;)Z
*/
JNIEXPORT jboolean JNICALL Java_FreeICTCLAS_FreeICTCLAS_1FileProcess
(JNIEnv *env, jobject obj, jstring sSourceFilename, jstring sResultFilename)
{
    return JNI_TRUE;
}

编译项目，在release目录中找到FreeICTCLAS.dll，将其拷贝到FreeICTCLAS.class所在的目录中
现在运行java FreeICTCLAS即可看到中文分词的结果啦

怎么把ICTCLAS JNI for Java添加到eclipse项目中去?下次写吧。
当你看到这句话的时候，你可以直接发邮件向我索要win32项目和eclipse项目
BlogJava后台编辑器不好用，^_^

Barrie 2008-05-06 14:40 发表评论