paulwong

#

一些数据切分、缓存、rpc框架、nosql方案资料

1、数据切分

        1.1、mysql中间件研究(Atlas,cobar,TDDL) 

        1.2、利用 MySQL Proxy 实现数据切分及整合 

        1.3、基于MySQL分库分表方案简介 

        1.4、tddl和diamond  

2、缓存

        2.1、java客户端三种方式操作 

        2.2、myibatis配置memcached评测 

        2.3、Memcached + Spring Caching 

        2.4、memcachedb-持久化存储的缓存系统 

        2.5、memcachedb让memcache的数据持久化 

        2.6、淘宝kv缓存框架tair 

        2.7、ibatis之扩展缓存ibatis-tair-cache 

3、rpc框架

        3.1、dubbo 

        3.2、hsf 未开源

        3.3、服务框架HSF分析之一容器启动

4、noSql

        4.1、学习NoSQL数据库的必读资料 

posted @ 2013-10-14 10:14 paulwong 阅读(2501) | 评论 (0)编辑 收藏

启用TOMCAT的SSL

本教程使用 JDK 6 和 Tomcat 7,其他版本类似。

基本步骤:

使用 java 创建一个 keystore 文件
配置 Tomcat 以使用该 keystore 文件
测试
配置应用以便使用 SSL ,例如 https://localhost:8443/yourApp
1. 创建 keystore 文件

执行 keytool -genkey -alias tomcat -keyalg RSA 结果如下
loiane:bin loiane$ keytool -genkey -alias tomcat -keyalg RSA
Enter keystore password:  password
Re-enter new password: password
What is your first and last name?
  [Unknown]:  Loiane Groner
What is the name of your organizational unit?
  [Unknown]:  home
What is the name of your organization?
  [Unknown]:  home
What is the name of your City or Locality?
  [Unknown]:  Sao Paulo
What is the name of your State or Province?
  [Unknown]:  SP
What is the two-letter country code for this unit?
  [Unknown]:  BR
Is CN=Loiane Groner, OU=home, O=home, L=Sao Paulo, ST=SP, C=BR correct?
  [no]:  y
 
Enter key password for
    (RETURN if same as keystore password):  password
Re-enter new password: password


这样就在用户的主目录下创建了一个 .keystore 文件

2. 配置 Tomcat 以使用 keystore 文件

打开 server.xml 找到下面被注释的这段
<!--
<Connector port="8443" protocol="HTTP/1.1" SSLEnabled="true"
    maxThreads="150" scheme="https" secure="true"
    clientAuth="false" sslProtocol="TLS" />
-->

干掉注释,并将内容改为
<Connector SSLEnabled="true" acceptCount="100" clientAuth="false"
    disableUploadTimeout
="true" enableLookups="false" maxThreads="25"
    port
="8443" keystoreFile="/Users/loiane/.keystore" keystorePass="password"
    protocol
="org.apache.coyote.http11.Http11NioProtocol" scheme="https"
    secure
="true" sslProtocol="TLS" />

3. 测试

启动 Tomcat 并访问 https://localhost:8443. 你将看到 Tomcat 默认的首页。

需要注意的是,如果你访问默认的 8080 端口,还是有效的。

4. 配置应用使用 SSL

打开应用的 web.xml 文件,增加配置如下:
<security-constraint>
    <web-resource-collection>
        <web-resource-name>securedapp</web-resource-name>
        <url-pattern>/*</url-pattern>
    </web-resource-collection>
    <user-data-constraint>
        <transport-guarantee>CONFIDENTIAL</transport-guarantee>
    </user-data-constraint>
</security-constraint>

将 URL 映射设为 /* ,这样你的整个应用都要求是 HTTPS 访问,而 transport-guarantee 标签设置为 CONFIDENTIAL 以便使应用支持 SSL。

如果你希望关闭 SSL ,只需要将 CONFIDENTIAL 改为 NONE 即可。

如果是MAVEN的TOMCAT插件,则加入如下配置
<build>
        <finalName>test-dropbox</finalName>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.5.1</version>
                <configuration>
                    <source>1.6</source>
                    <target>1.6</target>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.tomcat.maven</groupId>
                <artifactId>tomcat7-maven-plugin</artifactId>
                <version>2.0</version>
                <configuration>
                    <httpsPort>8443</httpsPort>
                    <keystorePass>password</keystorePass>
                    <keystoreFile>C:\Users\PAUL\.keystore</keystoreFile>
                </configuration>
            </plugin>
        </plugins>
    </build>






posted @ 2013-10-14 08:02 paulwong 阅读(1837) | 评论 (0)编辑 收藏

xshell ubuntu 连接

用xshell连接vm上的ubuntu
1.
File->new
在host里面填写你要连接的主机的ip地址 192.168.1.x


2.点Authentication出现下面的对话框
User Name 里面填的是你要连接要主机上的用户名 随便填写
Password 你设定的密码,不要忘了。
然后你可以测试下是否可以进去了,
File->open
选择你新建的 点击connect。
碰到的问题,我在点了connect 在xshell下面出现如下的代码:
Xshell displays "Could not connect to 'hostname' (port 22): Connection failed." message.

说明没有开启SSH的22端口
在ubuntu终端下运行
sudo netstat –antup
看下面是否有一个22端口,如果没有需要安装SSHD服务,可以直接运行安装服务
sudo apt-get install openssh-server

安装完之后再查看一下是否开启了22端口,如果开启了,那么用xshell来连接基本上就没什么问题了
还有一个是在xshell中的中文乱码问题
输入:
Locale
输出:
LANG=zh_CN.UTF-8
LC_CTYPE=”zh_CN.UTF-8″
LC_NUMERIC=”zh_CN.UTF-8″
LC_TIME=”zh_CN.UTF-8″
LC_COLLATE=”zh_CN.UTF-8″
LC_MONETARY=”zh_CN.UTF-8″
LC_MESSAGES=”zh_CN.UTF-8″
LC_PAPER=”zh_CN.UTF-8″
LC_NAME=”zh_CN.UTF-8″
LC_ADDRESS=”zh_CN.UTF-8″
LC_TELEPHONE=”zh_CN.UTF-8″
LC_MEASUREMENT=”zh_CN.UTF-8″
LC_IDENTIFICATION=”zh_CN.UTF-8″
LC_ALL=
说明系统的中文编码是采用utf8的,为了在xshell中正常的显示中文,我们要把xshell编码方式改成utf8
[文件]–>[打开]–>在打开的session中选择连接的那个 ,点击properties -> [Terminal ] ,在右边的translation先选择utf8,然后重新连接服务器即可。

如何将windwos上的文件传输到虚拟机上的linux 上
输入:
rz –help
如果出现
程序“rz”尚未安装。 您可以使用以下命令安装:
sudo apt-get install lrzsz
说明你还没有安装rz 输入:
sudo apt-get install lrzsz
安装rz
切换到你要存放文件的目录
File->Transfer->Send ZMODEM,出现一个对话框,选择你要传输的文件就可以了。

posted @ 2013-10-13 08:28 paulwong 阅读(433) | 评论 (0)编辑 收藏

Disable ipv6 on ubuntu

  1. For disable IPv6 on Ubuntu Server, we need add these configuration lines in /etc/sysctl.conf
    # IPv6 configuration
    net.ipv6.conf.all.disable_ipv6 = 1
    net.ipv6.conf.default.disable_ipv6 = 1
    net.ipv6.conf.lo.disable_ipv6 = 1

  2. Reload configurationf or sysctl.conf
    sysctl -p
  3. Check IPv6 is disabled on Ubuntu Server
     root@ip-10-48-234-13:/# ip addr
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 12:31:3c:03:e9:fb brd ff:ff:ff:ff:ff:ff
    inet 10.48.234.13/23 brd 10.48.235.255 scope global eth0




posted @ 2013-10-08 21:19 paulwong 阅读(341) | 评论 (0)编辑 收藏

卸载CENTOS的OPENJDK

先查看

rpm -qa | grep java


显示如下信息:

javapackages-tools-0.9.1-1.2.amzn1.noarch
java-1.6.0-openjdk-1.6.0.0-62.1.11.11.90.55.amzn1.x86_64
tzdata-java-2013c-2.18.amzn1.noarch


卸载:

rpm -e --nodeps javapackages-tools-0.9.1-1.2.amzn1.noarch
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-62.1.11.11.90.55.amzn1.x86_64
rpm -e --nodeps tzdata-java-2013c-2.18.amzn1.noarch


还有一些其他的命令

rpm -qa | grep gcj
rpm -qa | grep jdk


如果出现找不到openjdk source的话,那么还可以这样卸载

yum -y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
yum -y remove java java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5


<1># rpm -qa|grep jdk ← 查看jdk的信息或直接执行 
或 
# rpm -q jdk 
或 
# java -version 
<2># rpm -qa | grep gcj ← 确认gcj的版本号 
<3># yum -y remove java-1.4.2-gcj-compat ← 卸载gcj 

安装SUN JDK
http://www.oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u45-oth-JPR

posted @ 2013-10-02 19:00 paulwong 阅读(338) | 评论 (0)编辑 收藏

ELASTICSEARCH资源

加索引:
http://www.elasticsearch.org/guide/reference/api/index_/


查询:
http://www.elasticsearch.org/blog/your-data-your-search/


JAVA API,注意端口是9300,不是9200
http://stackoverflow.com/questions/16670219/why-cant-i-connect-to-elasticsearch-through-java-api
http://www.elasticsearch.org/guide/reference/java-api/client/


书籍
http://fuxiaopang.gitbooks.io/learnelasticsearch/getting_started/README.html


posted @ 2013-09-12 17:51 paulwong 阅读(777) | 评论 (0)编辑 收藏

KAFKA资源

Running a Multi-Broker Apache Kafka 0.8 Cluster on a Single Node
http://www.michael-noll.com/blog/2013/03/13/running-a-multi-broker-apache-kafka-cluster-on-a-single-node/


Kafka部署与代码实例
http://shift-alt-ctrl.iteye.com/blog/1930791 

Flume-ng+Kafka+storm的学习笔记
http://blog.csdn.net/zxcvg/article/details/18600335


Storm应用系列之——集成Kafka(0.8版的KAFKA)
http://blog.csdn.net/xeseo/article/details/18615761

posted @ 2013-09-11 15:22 paulwong 阅读(472) | 评论 (0)编辑 收藏

STORM启动与部署TOPOLOGY

  1. 启动ZOOPKEEPER
    zkServer.sh start
  2. 启动NIMBUS
    storm nimbus &
  3. 启动SUPERVISOR
    storm supervisor &
  4. 启动UI
    storm ui &
  5. 部署TOPOLOGY
    storm jar /opt/hadoop/loganalyst/storm-dependend/data/teststorm-1.0.jar teststorm.TopologyMain /opt/hadoop/loganalyst/storm-dependend/data/words.txt
  6. 删除TOPOLOGY
    storm kill {toponame}
  7. 激活TOPOLOGY
    storm active {toponame}
  8. 不激活TOPOLOGY
    storm deactive {toponame}
  9. 列出所有TOPOLOGY
    storm list



posted @ 2013-09-11 11:00 paulwong 阅读(10329) | 评论 (0)编辑 收藏

STORM资源

Install Storm
http://www.jansipke.nl/installing-a-storm-cluster-on-centos-hosts/
http://www.cnblogs.com/kemaswill/archive/2012/10/24/2737833.html
http://abentotoro.blog.sohu.com/197023262.html
http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html


使用 Twitter Storm 处理实时的大数据
http://www.ibm.com/developerworks/cn/opensource/os-twitterstorm/


Storm数据流模型的分析及讨论
http://www.cnblogs.com/panfeng412/archive/2012/07/29/storm-stream-model-analysis-and-discussion.html
http://www.cnblogs.com/panfeng412/tag/Storm/


storm-kafka
https://github.com/nathanmarz/storm-contrib/tree/master/storm-kafka


使用Storm实现实时大数据分析!
http://www.csdn.net/article/2012-12-24/2813117-storm-realtime-big-data-analysis


storm-deploy-aws
https://github.com/nathanmarz/storm-deploy/wiki


!!!知乎网站上的Twitter Storm
http://www.zhihu.com/topic/19673110


storm-elastic-search
https://github.com/hmsonline/storm-elastic-search


storm-examples
https://github.com/stormprocessor/storm-examples


kafka-aws
https://github.com/nathanmarz/kafka-deploy


Next Gen Real-time Streaming with Storm-Kafka Integration
http://blog.infochimps.com/2012/10/30/next-gen-real-time-streaming-storm-kafka-integration/


flume+kafka+storm+mysql 数据流
http://blog.csdn.net/baiyangfu/article/details/8096088
http://blog.csdn.net/baiyangfu/article/category/1244640


Kafka学习笔记
http://blog.csdn.net/baiyangfu/article/details/8096084


STORM+KAFKA
https://github.com/buildlackey/cep


STORM+KETTLE
https://github.com/buildlackey/kettle-storm

posted @ 2013-09-08 19:59 paulwong 阅读(433) | 评论 (0)编辑 收藏

STORM与HADOOP的比较

对于一堆时刻在增长的数据,如果要统计,可以采取什么方法呢?
  1. 等数据增长到一定程度的时候,跑一个统计程序进行统计。适用于实时性要求不高的场景。
    如将数据导到HDFS,再运行一个MAP REDUCE JOB。
  2. 如果实时性要求高的,上面的方法就不行了。因此就带来第二种方法。
    在数据每次增长一笔的时候,就进行统计JOB,结果放到DB或搜索引擎的INDEX中。
    STORM就是完成这种工作的。

HADOOP与STORM比较
  1. 数据来源:HADOOP是HDFS上某个文件夹下的可能是成TB的数据,STORM是实时新增的某一笔数据
  2. 处理过程:HADOOP是分MAP阶段到REDUCE阶段,STORM是由用户定义处理流程,
    流程中可以包含多个步骤,每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT)
  3. 是否结束:HADOOP最后是要结束的,STORM是没有结束状态,到最后一步时,就停在那,直到有新
    数据进入时再从头开始
  4. 处理速度:HADOOP是以处理HDFS上大量数据为目的,速度慢,STORM是只要处理新增的某一笔数据即可
    可以做到很快。
  5. 适用场景:HADOOP是在要处理一批数据时用的,不讲究时效性,要处理就提交一个JOB,STORM是要处理
    某一新增数据时用的,要讲时效性
  6. 与MQ对比:HADOOP没有对比性,STORM可以看作是有N个步骤,每个步骤处理完就向下一个MQ发送消息,
    监听这个MQ的消费者继续处理

posted @ 2013-09-08 19:49 paulwong 阅读(4584) | 评论 (0)编辑 收藏

仅列出标题
共116页: First 上一页 61 62 63 64 65 66 67 68 69 下一页 Last