语源科技BlogJava-魔兽传奇

大数据入门：各种大数据技术介绍

龙旋风 — Sun, 05 May 2019 01:24:00 GMT

转自：http://www.aboutyun.com/thread-7569-1-1.html

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。
我们可以带着下面问题来阅读本文章：
1.hadoop都包含什么技术
2.Cloudera公司与hadoop的关系是什么，都有什么产品，产品有什么特性
3.Spark与hadoop的关联是什么？
4.Storm与hadoop的关联是什么？

hadoop家族
创始人：Doug Cutting
整个Hadoop家族由以下几个子项目组成：

Hadoop Common：
Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。详细可查看
Hadoop技术内幕深入解析HADOOP COMMON和HDFS架构设计与实现原理大全1-9章

HDFS：

是Hadoop应用程序中主要的分布式储存系统， HDFS集群包含了一个NameNode（主节点），这个节点负责管理所有文件系统的元数据及存储了真实数据的DataNode（数据节点，可以有很多）。HDFS针对海量数据所设计，所以相比传统文件系统在大批量小文件上的优化，HDFS优化的则是对小批量大型文件的访问和存储。下面为详细资料：
什么是HDFS及HDFS架构设计
 HDFS+MapReduce+Hive快速入门
 Hadoop2.2.0中HDFS为何具有高可用性
 Java创建hdfs文件实例

MapReduce：

是一个软件框架，用以轻松编写处理海量（TB级）数据的并行应用程序，以可靠和容错的方式连接大型集群中上万个节点（商用硬件）。
详细可查看：
Hadoop简介(1):什么是Map/Reduce
Hadoop MapReduce基础
 MapReduce工作原理讲解
 手把手交你写Mapreduce程序实例并部署在Hadoop2.2.0上运行

Hive：

Apache Hive是Hadoop的一个数据仓库系统，促进了数据的综述（将结构化的数据文件映射为一张数据库表）、即席查询以及存储在Hadoop兼容系统中的大型数据集分析。Hive提供完整的SQL查询功能——HiveQL语言，同时当使用这个语言表达一个逻辑变得低效和繁琐时，HiveQL还允许传统的Map/Reduce程序员使用自己定制的Mapper和Reducer。hive类似CloudBase，基于hadoop分布式计算平台上的提供data warehouse的sql功能的一套软件。使得存储在hadoop里面的海量数据的汇总，即席查询简单化。
详细可查看：
Hive的起源及详细介绍
 hive详解视频

Pig：

Apache Pig是一个用于大型数据集分析的平台，它包含了一个用于数据分析应用的高级语言以及评估这些应用的基础设施。Pig应用的闪光特性在于它们的结构经得起大量的并行，也就是说让它们支撑起非常大的数据集。Pig的基础设施层包含了产生Map-Reduce任务的编译器。Pig的语言层当前包含了一个原生语言——Pig Latin，开发的初衷是易于编程和保证可扩展性。
Pig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。Yahoo网格运算部门开发的又一个克隆Google的项目Sawzall。
详细可查看：
pig入门简单操作及语法包括支持数据类型、函数、关键字、操作符等
 hadoop家族Pig和Hive有什么不同？

HBase：

Apache HBase是Hadoop数据库，一个分布式、可扩展的大数据存储。它提供了大数据集上随机和实时的读/写访问，并针对了商用服务器集群上的大型表格做出优化——上百亿行，上千万列。其核心是Google Bigtable论文的开源实现，分布式列式存储。就像Bigtable利用GFS（Google File System）提供的分布式数据存储一样，它是Apache Hadoop在HDFS基础上提供的一个类Bigatable。
详细可查看：
hbase与传统数据的区别
 HBASE分布式安装视频下载分享

ZooKeeper：

Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
详细可查看：
什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体作用是什么

Avro：

Avro是doug cutting主持的RPC项目，有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使hadoop的RPC模块通信速度更快、数据结构更紧凑。

Sqoop:
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库中数据导入Hadoop的HDFS中，也可以将HDFS中数据导入关系型数据库中。
详细可查看：
Sqoop详细介绍包括：sqoop命令，原理，流程

Mahout:

Apache Mahout是个可扩展的机器学习和数据挖掘库，当前Mahout支持主要的4个用例：
推荐挖掘：搜集用户动作并以此给用户推荐可能喜欢的事物。
聚集：收集文件并进行相关文件分组。
分类：从现有的分类文档中学习，寻找文档中的相似特征，并为无标签的文档进行正确的归类。
频繁项集挖掘：将一组项分组，并识别哪些个别项会经常一起出现。

Cassandra：

Apache Cassandra是一个高性能、可线性扩展、高有效性数据库，可以运行在商用硬件或云基础设施上打造完美的任务关键性数据平台。在横跨数据中心的复制中，Cassandra同类最佳，为用户提供更低的延时以及更可靠的灾难备份。通过log-structured update、反规范化和物化视图的强支持以及强大的内置缓存，Cassandra的数据模型提供了方便的二级索引（column indexe）。

Chukwa：

Apache Chukwa是个开源的数据收集系统，用以监视大型分布系统。建立于HDFS和Map/Reduce框架之上，继承了Hadoop的可扩展性和稳定性。Chukwa同样包含了一个灵活和强大的工具包，用以显示、监视和分析结果，以保证数据的使用达到最佳效果。

Ambari：

Apache Ambari是一个基于web的工具，用于配置、管理和监视Apache Hadoop集群，支持Hadoop HDFS,、Hadoop MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘，比如heatmaps和查看MapReduce、Pig、Hive应用程序的能力，以友好的用户界面对它们的性能特性进行诊断。

HCatalog

Apache HCatalog是Hadoop建立数据的映射表和存储管理服务，它包括：
提供一个共享模式和数据类型机制。
提供一个抽象表，这样用户就不需要关注数据存储的方式和地址。
为类似Pig、MapReduce及Hive这些数据处理工具提供互操作性。

------------------------------------------------------------------------------------------------------------------------------------------------

Chukwa：

Chukwa是基于Hadoop的大集群监控系统，由yahoo贡献。

------------------------------------------------------------------------------------------------------------------------------------------------

Cloudera系列产品：
创始组织：Cloudera公司
1.Cloudera Manager:
有四大功能
（1）管理
（2）监控
（3）诊断
（4）集成
Cloudera Manager四大功能

2.Cloudera CDH：英文名称：CDH (Cloudera's Distribution, including Apache Hadoop)
Cloudera对hadoop做了相应的改变。
Cloudera公司的发行版，我们将该版本称为CDH（Cloudera Distribution Hadoop）。
详细可以查看
Cloudera Hadoop什么是CDH及CDH版本介绍
相关资料
CDH3实战Hadoop(HDFS) , HBase , Zookeeper , Flume , Hive
CDH4安装实践HDFS、HBase、Zookeeper、Hive、Oozie、Sqoop
Hadoop CDH四种安装方式总结及实例指导
 hadoop的CDH4及CDH5系列文档下载分享

3.Cloudera Flume
Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。
Flume采用了多Master的方式。为了保证配置数据的一致性，Flume[1]引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。
详细可查看：
什么是 flume 日志收集，flume的特性
 什么是 flume 日志收集，flume的原理是什么，flume会遇到什么问题

4.Cloudera Impala

Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。

详细可查看：

什么是impala，如何安装使用Impala
5.Cloudera hue
Hue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。
详细可查看：
cloudera hue安装及Oozie的安装
 什么是Oozie？Oozie简介
 Cloudera Hue 使用经验分享，遇到的问题及解决方案

------------------------------------------------------------------------------------------------------------------------------------------------

Spark

创始组织：加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

可以详细了解
科普Spark，Spark是什么，如何使用Spark（1）
科普Spark，Spark核心是什么，如何使用Spark（2）
优酷土豆用Spark完善大数据分析
 Hadoop新成员Hadoop-Cloudera公司将Spark加入Hadoop

Storm

创始人：Twitter
Twitter将Storm正式开源了，这是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统，BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.5.2，基本是用Clojure写的。

详细可以了解：
storm入门介绍
 Storm-0.9.0.1安装部署指导
 总体认识storm包括概念，场景，组成
 大数据架构师：hadoop、Storm改选哪一个？
大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

龙旋风 2019-05-05 09:24 发表评论

2019年前端比较流行的框架

龙旋风 — Sun, 05 May 2019 01:20:00 GMT

如今的前端已经不再像以前一样就是简单的写写页面和调调样式而已，现在的前端越来越复杂，知识点越来越丰富。

要做WEB前端，就需要知道前端到底是什么，需要学习那些知识；前端至少要懂的三个部分：HTML，CSS，JavaScript（简称JS），那首先先明确这三个概念：

HTML负责结构，网页想要表达的内容由html书写。

CSS负责样式，网页的美与丑由它来控制

JS负责交互，用户和网页产生的互动由它来控制。

web前端发展至今，演变出了无数的库和框架；说到库第一时间想到的是不是jquery？在小编刚接触库的时候也是从jQuery开始的；今天我们就来说说前端发展到现在都有哪些好用的库框架；

1.Bootstrap中文网

先分享下，如果有想一起学习web前端，HTML5及JavaScript的可以来一下我的前端群733581373，好友都会在里面交流，分享一些学习的方法和需要注意的小细节，每天也会准时的讲一些前端的炫酷特效，及前端直播课程学习

Bootstrap，让你的页面更简洁、直观、强悍、移动设备优先的前端开发框架,让web开发更迅速、更简单。它还提供了更优雅的HTML和CSS规范，它即是由动态CSS语言Less写成。有着丰富的网格布局系统以及丰富的可重用组件，还有强大的支持十几的JavaScript、jQuery插件以及组件定制等。

Bootstrap中文网地址：http://www.bootcss.com/

2. Layui

layer是一款口碑极佳的web弹层组件，是一款采用自身模块规范编写的前端 UI 框架，遵循原生 HTML/CSS/JS 的书写与组织形式，门槛极低，拿来即用。layui 首个版本发布于2016年秋，她区别于那些基于 MVVM 底层的 UI 框架，从核心代码到 API 的每一处细节都经过精心雕琢，非常适合界面的快速开发。

Layui官网地址：https://www.layui.com/

3.ElementUI

Element-Ul是饿了么前端团队推出的一款基于Vue.js 2.0 的桌面端UI框架，手机端有对应框架是Mint UI 。适合于Vue的UI框架；

官网地址：http://element-cn.eleme.io/#/zh-CN

4.Mint UI

Mint UI 是由饿了么前端团队推出的一个基于 Vue.js 的移动端组件库，Mint UI 包含丰富的 CSS 和 JS 组件，能够满足日常的移动端开发需要。通过它，可以快速构建出风格统一的页面，提升开发效率。

官网地址：http://mint-ui.github.io/

5.angular

AngularJS诞生于2009年,由Misko Hevery 等人创建,后为Google所收购。是一款优秀的前端JS框架,已经被用于Google的多款产品当中。AngularJS有着诸多特性，最为核心的是MVW（Model-View-Whatever）、模块化、自动化双向数据绑定、语义化标签、依赖注入等等。

官网地址：http://www.angularjs.net.cn/

6.React

React 可以非常轻松地创建用户交互界面。为你应用的每一个状态设计简洁的视图,在数据改变时 React 也可以高效地更新渲染界面。React 起源于 Facebook 的内部项目，因为该公司对市场上所有 JavaScript MVC 框架，都不满意，就决定自己写一套，用来架设Instagram 的网站。做出来以后，发现这套东西很好用，就在2013年5月开源了。

官网地址：http://react-china.org/

7.vue.js

近几年最火的前端框架当属Vue.js了，Vue.js是一个构建数据驱动的 web 界面的渐进式框架。Vue.js 的目标是通过尽可能简单的 API 实现响应的数据绑定和组合的视图组件。很多使用过vue的程序员这样评价它，“vue.js兼具angular.js和react.js的优点，并剔除了它们的缺点”。授予了这么高的评价的vue.js，也是开源世界华人的骄傲，因为它的作者是位中国人--尤雨溪

---------------------

作者：前端入门到精通

来源：CSDN

原文：https://blog.csdn.net/zwjweb/article/details/86073841

龙旋风 2019-05-05 09:20 发表评论

几款主流 NoSql 数据库的对比

龙旋风 — Sun, 05 May 2019 01:14:00 GMT

摘要: HBase、Redis、MongoDB、Couchbase、LevelDB 五款较主流的数据库产品中，本文将主要对它们进行分析对比。鉴于缺乏项目中的实战经验沉淀，本文内容和观点主要还是从各平台资料搜罗汇总，也不会有太多深入或底层原理探讨。本文所引用的资料来源将示于本文尾部。所汇总的内容仅供参考，若有异议望指正。转载：https://www.cnblogs.com/zgblog/p/5488735.... 阅读全文

龙旋风 2019-05-05 09:14 发表评论

常见的NoSQL数据库

龙旋风 — Sun, 05 May 2019 01:12:00 GMT

NoSQL数据库发展迅猛，据说现在已经有上百种NoSQL数据库了，下面来了解下常见的一些NoSQL数据库

先来看张表，了解下典型的NoSQL数据库的分类

临时性键值存储	永久性键值存储	面向文档的数据库	面向列的数据库
Memcached	Tokyo Tyrant	MangoDB	Cassandra
Redis	Flare	CouchDB	HBase
	ROMA		HyperTable
	Redis

1. CouchDB
所用语言： Erlang
特点：DB一致性，易于使用
使用许可： Apache
协议： HTTP/REST
双向数据复制，
持续进行或临时处理，
处理时带冲突检查，
因此，采用的是master-master复制（见编注2）
MVCC – 写操作不阻塞读操作
可保存文件之前的版本
Crash-only（可靠的）设计
需要不时地进行数据压缩
视图：嵌入式映射/减少
格式化视图：列表显示
支持进行服务器端文档验证
支持认证
根据变化实时更新
支持附件处理
因此， CouchApps（独立的 js应用程序）
需要 jQuery程序库

最佳应用场景：适用于数据变化较少，执行预定义查询，进行数据统计的应用程序。适用于需要提供数据版本支持的应用程序。
例如： CRM、CMS系统。 master-master复制对于多站点部署是非常有用的。
（编注2：master-master复制：是一种数据库同步方法，允许数据在一组计算机之间共享数据，并且可以通过小组中任意成员在组内进行数据更新。）

2. Redis
所用语言：C/C++
特点：运行异常快
使用许可： BSD
协议：类 Telnet
有硬盘存储支持的内存数据库，
但自2.0版本以后可以将数据交换到硬盘（注意， 2.4以后版本不支持该特性！）
Master-slave复制（见编注3）
虽然采用简单数据或以键值索引的哈希表，但也支持复杂操作，例如 ZREVRANGEBYSCORE。
INCR & co （适合计算极限值或统计数据）
支持 sets（同时也支持 union/diff/inter）
支持列表（同时也支持队列；阻塞式 pop操作）
支持哈希表（带有多个域的对象）
支持排序 sets（高得分表，适用于范围查询）
Redis支持事务
支持将数据设置成过期数据（类似快速缓冲区设计）
Pub/Sub允许用户实现消息机制

最佳应用场景：适用于数据变化快且数据库大小可遇见（适合内存容量）的应用程序。
例如：股票价格、数据分析、实时数据搜集、实时通讯。
（编注3：Master-slave复制：如果同一时刻只有一台服务器处理所有的复制请求，这被称为 Master-slave复制，通常应用在需要提供高可用性的服务器集群。）

3. MongoDB
所用语言：C++
特点：保留了SQL一些友好的特性（查询，索引）。
使用许可： AGPL（发起者： Apache）
协议： Custom, binary（ BSON）
Master/slave复制（支持自动错误恢复，使用 sets 复制）
内建分片机制
支持 javascript表达式查询
可在服务器端执行任意的 javascript函数
update-in-place支持比CouchDB更好
在数据存储时采用内存到文件映射
对性能的关注超过对功能的要求
建议最好打开日志功能（参数 –journal）
在32位操作系统上，数据库大小限制在约2.5Gb
空数据库大约占 192Mb
采用 GridFS存储大数据或元数据（不是真正的文件系统）

最佳应用场景：适用于需要动态查询支持；需要使用索引而不是 map/reduce功能；需要对大数据库有性能要求；需要使用 CouchDB但因为数据改变太频繁而占满内存的应用程序。
例如：你本打算采用 MySQL或 PostgreSQL，但因为它们本身自带的预定义栏让你望而却步。

4. Riak
所用语言：Erlang和C，以及一些Javascript
特点：具备容错能力
使用许可： Apache
协议： HTTP/REST或者 custom binary
可调节的分发及复制(N, R, W)
用 JavaScript or Erlang在操作前或操作后进行验证和安全支持。
使用JavaScript或Erlang进行 Map/reduce
连接及连接遍历：可作为图形数据库使用
索引：输入元数据进行搜索（1.0版本即将支持）
大数据对象支持（ Luwak）
提供“开源”和“企业”两个版本
全文本搜索，索引，通过 Riak搜索服务器查询（ beta版）
支持Masterless多站点复制及商业许可的 SNMP监控

最佳应用场景：适用于想使用类似 Cassandra（类似Dynamo）数据库但无法处理 bloat及复杂性的情况。适用于你打算做多站点复制，但又需要对单个站点的扩展性，可用性及出错处理有要求的情况。
例如：销售数据搜集，工厂控制系统；对宕机时间有严格要求；可以作为易于更新的 web服务器使用。
5. Membase
所用语言： Erlang和C
特点：兼容 Memcache，但同时兼具持久化和支持集群
使用许可： Apache 2.0
协议：分布式缓存及扩展
非常快速（200k+/秒），通过键值索引数据
可持久化存储到硬盘
所有节点都是唯一的（ master-master复制）
在内存中同样支持类似分布式缓存的缓存单元
写数据时通过去除重复数据来减少 IO
提供非常好的集群管理 web界面
更新软件时软无需停止数据库服务
支持连接池和多路复用的连接代理

最佳应用场景：适用于需要低延迟数据访问，高并发支持以及高可用性的应用程序
例如：低延迟数据访问比如以广告为目标的应用，高并发的 web 应用比如网络游戏（例如 Zynga）

6. Neo4j
所用语言： Java
特点：基于关系的图形数据库
使用许可： GPL，其中一些特性使用 AGPL/商业许可
协议： HTTP/REST（或嵌入在 Java中）
可独立使用或嵌入到 Java应用程序
图形的节点和边都可以带有元数据
很好的自带web管理功能
使用多种算法支持路径搜索
使用键值和关系进行索引
为读操作进行优化
支持事务（用 Java api）
使用 Gremlin图形遍历语言
支持 Groovy脚本
支持在线备份，高级监控及高可靠性支持使用 AGPL/商业许可

最佳应用场景：适用于图形一类数据。这是 Neo4j与其他nosql数据库的最显著区别
例如：社会关系，公共交通网络，地图及网络拓谱

7. Cassandra
所用语言： Java
特点：对大型表格和 Dynamo支持得最好
使用许可： Apache
协议： Custom, binary (节约型)
可调节的分发及复制(N, R, W)
支持以某个范围的键值通过列查询
类似大表格的功能：列，某个特性的列集合
写操作比读操作更快
基于 Apache分布式平台尽可能地 Map/reduce
我承认对 Cassandra有偏见，一部分是因为它本身的臃肿和复杂性，也因为 Java的问题（配置，出现异常，等等）

最佳应用场景：当使用写操作多过读操作（记录日志）如果每个系统组建都必须用 Java编写（没有人因为选用 Apache的软件被解雇）
例如：银行业，金融业（虽然对于金融交易不是必须的，但这些产业对数据库的要求会比它们更大）写比读更快，所以一个自然的特性就是实时数据分析

8. HBase
（配合 ghshephard使用）
所用语言： Java
特点：支持数十亿行X上百万列
使用许可： Apache
协议：HTTP/REST （支持 Thrift，见编注4）
在 BigTable之后建模
采用分布式架构 Map/reduce
对实时查询进行优化
高性能 Thrift网关
通过在server端扫描及过滤实现对查询操作预判
支持 XML, Protobuf, 和binary的HTTP
Cascading, hive, and pig source and sink modules
基于 Jruby（ JIRB）的shell
对配置改变和较小的升级都会重新回滚
不会出现单点故障
堪比MySQL的随机访问性能

最佳应用场景：适用于偏好BigTable:)并且需要对大数据进行随机、实时访问的场合。
例如： Facebook消息数据库（更多通用的用例即将出现）
编注4：Thrift 是一种接口定义语言，为多种其他语言提供定义和创建服务，由Facebook开发并开源。
当然，所有的系统都不只具有上面列出的这些特性。这里我仅仅根据自己的观点列出一些我认为的重要特性。与此同时，技术进步是飞速的，所以上述的内容肯定需要不断更新。我会尽我所能地更新这个列表。

龙旋风 2019-05-05 09:12 发表评论

java替换Excel字符

龙旋风 — Fri, 23 Mar 2018 12:42:00 GMT

//模板路径
String modelPath="D:\Excel.xls"
//sheet的名字
String sheetName="sheet1";
获取Excel模板对象
try {
File file = new File(modelPath);
if(!file.exists()){
System.out.println("模板文件:"+modelPath+"不存在!");
}
fs = new POIFSFileSystem(new FileInputStream(file));
wb = new HSSFWorkbook(fs);
sheet = wb.getSheet(sheetName);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
//从heet中获取行数
int rowNum = sheet.getLastRowNum();
//获取行里面的总列数
row = sheet.getRow(i); //i:第I行
// 获取行里面的总列数
int columnNum = 0;
if(row!=null){
columnNum = row.getPhysicalNumberOfCells();
}
//获取单元格的值
HSSFCell cell = sheet.getRow(i).getCell(j); //第i行,第j列
String cellValue = cell.getStringCellValue();
//替换数据本人的数据存放在Map中
for (Entry entry : param.entrySet()) {
String key = entry.getKey();
if(key.equals(cellValue)){
String value = entry.getValue().toString();
setCellStrValue(i, j, value);//设置第i行,第j列的值为Value
}
}
完整代码：
/**
* 替换Excel模板中的数据
* @param sheetName Sheet名字
* @param modelPath 模板路径
* @param param 需要替换的数据
* @return
* @author 刘泽中
* @Date: 2015年12月11日
*/
public HSSFWorkbook replaceExcel(String sheetName,String modelPath,Map param){
//获取所读取excel模板的对象
try {
File file = new File(modelPath);
if(!file.exists()){
System.out.println("模板文件:"+modelPath+"不存在!");
}
fs = new POIFSFileSystem(new FileInputStream(file));
wb = new HSSFWorkbook(fs);
sheet = wb.getSheet(sheetName);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
replaceExcelDate(param);
return wb;
}
/**
* 根据 Map中的数据替换Excel模板中指定数据
* @param param
* @author 刘泽中
* @Date: 2015年12月11日
*/
public void replaceExcelDate(Map param){
// 获取行数
int rowNum = sheet.getLastRowNum();
for (int i = 0; i < rowNum; i++) {
row = sheet.getRow(i);
// 获取行里面的总列数
int columnNum = 0;
if(row!=null){
columnNum = row.getPhysicalNumberOfCells();
}
for (int j = 0; j < columnNum; j++) {
HSSFCell cell = sheet.getRow(i).getCell(j);
String cellValue = cell.getStringCellValue();
for (Entry entry : param.entrySet()) {
String key = entry.getKey();
if(key.equals(cellValue)){
String value = entry.getValue().toString();
setCellStrValue(i, j, value);
}
}
}
}
}
/**
* 设置字符串类型的数据
* @param rowIndex--行值从0开始
* @param cellnum--列值从0开始
* @param value--字符串类型的数据
*
* @author 刘泽中
* @Date: 2015年12月11日
*/
public void setCellStrValue(int rowIndex, int cellnum, String value) {
HSSFCell cell = sheet.getRow(rowIndex).getCell(cellnum);
cell.setCellValue(value);
}
步骤阅读

龙旋风 2018-03-23 20:42 发表评论

HttpClient调用Web工程的Spring @Controller方法

龙旋风 — Sun, 06 Sep 2015 08:16:00 GMT

1、Web服务器是Spring MVC框架：

package com.acce.server.order.controller;

import javax.annotation.Resource;

import javax.servlet.http.HttpServletResponse;

import org.springframework.stereotype.Controller;

import org.springframework.web.bind.annotation.RequestMapping;

import org.springframework.web.bind.annotation.RequestParam;

import com.acce.server.core.controller.BaseController;

import com.acce.server.pcOrder.service.PcBillService;

import com.alibaba.fastjson.JSONObject;

@Controller()

public class TestController extends BaseController {

@Resource(name = "PcBillService")

private PcBillService pcBillService;

/**

* 获取tabFirster表中属于该用户的信息。

* @param json

* @param response

@RequestMapping("/api/order/querryTabHeadByPC.html")

public void querryTabHead(@RequestParam String json,

HttpServletResponse response) {

System.out.println("/api/order/querryTabHead.html 接口获取到json：" + json);

String rstString = pcBillService.querryTabHead(

JSONObject.parseObject(json)).toString();

response.setContentType("text/html; charset=utf-8");

this.wirteJsonToResponse(response, rstString);

}
}

2、将响应结果返回：

package com.acce.server.core.controller;

import java.io.IOException;

import java.io.PrintWriter;

import javax.servlet.http.HttpServletResponse;

import org.apache.log4j.Logger;

public class BaseController {

protected Logger LOGGER = Logger.getLogger(this.getClass());

/**

* 将json写到servlet输出流

* @param response

* @param json

protected void wirteJsonToResponse(HttpServletResponse response,String json) {

PrintWriter writer = null;

try {

writer = response.getWriter();

writer.println(json);

writer.flush();

} catch (IOException e) {

LOGGER.error("服务端写json报错："+json,e);

} finally {

if(null != writer) {

writer.close();

}

3、新起一个JavaProject，导入HttpClient相关jar包：httpclient-4.3.6.jar、httpclient-cache-4.2.jar、httpcore-4.3.3.jar、httpcore-ab-4.2.1.jar、httpcore-nio-4.2.1.jar、httpmime-4.2.jar

package acce;

import java.io.BufferedReader;

import java.io.InputStreamReader;

import java.util.ArrayList;

import org.apache.http.HttpResponse;

import org.apache.http.HttpStatus;

import org.apache.http.NameValuePair;

import org.apache.http.client.HttpClient;

import org.apache.http.client.entity.UrlEncodedFormEntity;

import org.apache.http.client.methods.HttpPost;

import org.apache.http.impl.client.DefaultHttpClient;

import org.apache.http.message.BasicNameValuePair;

import org.apache.http.protocol.HTTP;

public class TestHttpClient {

public static void main(String[] args) {

// \"{\"tabCorpFirst\":\"快来大酒店\",\"syncing\":\"1\"}\"

String url = "http://localhost:8080/acce-server/api/order/querryKingdomFromFirster.html";

try {

HttpClient httpClient = new DefaultHttpClient();

// HttpPost 实现 HttpUriRequest 接口,HttpUriRequest接口继承 HttpRequest

HttpPost httpPostReq = new HttpPost(url);

ArrayList paramList = new ArrayList();

String json = "{\"tabCorpFirst\":\"快来大酒店\",\"syncing\":\"1\"}";

NameValuePair param1 = new BasicNameValuePair("json", json);

paramList.add(param1);

UrlEncodedFormEntity aa = new UrlEncodedFormEntity(paramList,

HTTP.UTF_8);

httpPostReq.setEntity(aa);

HttpResponse resp = httpClient.execute(httpPostReq);

if (resp.getStatusLine().getStatusCode() == HttpStatus.SC_OK) {

BufferedReader reader = new BufferedReader(

new InputStreamReader(resp.getEntity().getContent()));

StringBuffer result = new StringBuffer();

String inputLine = null;

while ((inputLine = reader.readLine()) != null) {

result.append(inputLine);

}

System.out.println("结果： " + result.toString());

} else {

System.out.println("结果： "

+ resp.getStatusLine().getStatusCode());

}

} catch (Exception e) {

e.printStackTrace();

}

测试调用接口正确，并能获取到正确的值；
注：由于项目是UTF-8，需要转码。

龙旋风 2015-09-06 16:16 发表评论

linux环境下Apache安装及整合Apache和Tomcat

龙旋风 — Fri, 07 Aug 2015 06:50:00 GMT

Apache和tomcat-connector下载地址：
http://httpd.apache.org/
http://tomcat.apache.org/download-connectors.cgi
参考URL:http://blog.csdn.net/wubai250/article/details/8533968

下载解压tar.gz，使用命令tar -zxvf *.tar.gz解压http和tomcat-connector
注：jdk、Tomcat安装不再此处描述，可在网上搜索。
1、安装Apache2(httpd-2.2.31)
$cd httpd-2.2.31
$./configure --prefix=/env/web/apache/
$make
$make install
安装成功后，进入
$ cd /env/web/apache/bin
$ ./apachectl -k start
打开httpd.conf之后查找Listen这行
    改成Listen 80
    注:80端口要是被占用了就启动不了的,如果被占用可以改成7160之类的
再查找ServerName
    改成
    ServerName localhost:80
    就修改这2个地方就完成了，可以启动了

2、安装tomcat-connectors-1.2.40-src
CentOS环境下整合Apache和Tomcat
转载：http://www.aiplaypc.com/111.html
1、先去apache官网下载tomcat与apache关联的相关应用，地址
http://tomcat.apache.org/download-connectors.cgi
2、解压下载的 tar -xzvf tomcat-connectors-1.2.40-src.tar.gz
3、进入cd /tomcat-connectors-1.2.40-src/native ，输入命令：./configure --with-apxs=/env/web/apache/bin/apxs(注：此处为apache安装路径)
$make
$make install
注意：安装完成tomcat-connectors之后，查看apache目录下的modules目录，是否多出一些.so文件。这些文件即jk的配置信息文件
3、配置负载均衡
A)、修改http.conf配置文件
ServerName test.XXX.com
ProxyPass / balancer://cluster/ stickysession=jsessionid nofailover=on
ProxyPassReverse / balancer://cluster
ErrorLog logs/test.XXX.com-error_log
CustomLog logs/test.XXX.com-access_log common

ProxyRequests Off

#注此处端口不是8080那个端口，而是负载均衡使用的端口
BalancerMember ajp://127.0.0.1:8089 loadfactor=1 route=jvm1
BalancerMember ajp://127.0.0.1:9099 loadfactor=1 route=jvm2

注：参考http://www.cnblogs.com/fx2008/p/4086555.html
B)、配置tomcat
修改端口，具体详见上述链接描述

龙旋风 2015-08-07 14:50 发表评论

【cenos】apache安装及配置（同一端口分静态html和动态tomcat页面）

龙旋风 — Mon, 03 Aug 2015 08:20:00 GMT

1、软硬件环境：
cenos 环境、httpd 2.2.3、tomcat 7、jdk 1.7、mysql 5.5
注：jdk、tomcat安装不再描述
2、安装apache httpd
查看是否有安装httpd ：rpm -qa httpd
安装httpd ： yum install httpd
卸载httpd ： yum remove httpd
3、默认安装路径：/etc/httpd
启动httpd: cd /etc/init.d/ ./httpd start
停止httpd: cd /etc/init.d/ ./httpd stop
4、修改/etc/httpd/conf/httpd.conf
#同一端口，不同域名配置必须下一行
NameVirtualHost *:80

ServerName XX.XXX.com

DocumentRoot "/env/www/html"

ErrorLog logs/XX.XXX.com-error_log

CustomLog logs/XX.XXX.com-access_log common

ServerName YY.YYY.com

ProxyPass / http://YY.YYY.com:8080/

ProxyPassReverse / http://YY.YYY.com:8080/

ErrorLog logs/hbseed.accedeal.com-error_log

CustomLog logs/hbseed.accedeal.com-access_log common

5、在浏览器中分别输入XX.XXX.com和YY.YYY.com分别访问了html和tomcat的jsp项目

龙旋风 2015-08-03 16:20 发表评论

Tomcat配置域名和多域名映射同一IP（Windows环境）

龙旋风 — Wed, 27 May 2015 03:02:00 GMT

背景：在本地环境配置，不同域名访问对应的数据：
1、硬件配置：Win7、Tomcat7.0；

2、修改 C:\Windows\System32\drivers\etc\hosts 文件
增加域名映射本服务器地址（可换成IP地址）：

127.0.0.1 heyj.net

127.0.0.1 www.test.net

127.0.0.1 www.run.net
3、tomcat目录下的conf文件夹, server.xml
修改8080端口，改为80
<Connector connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443"/>
<Connector connectionTimeout="20000" port="80" protocol="HTTP/1.1" redirectPort="8443"/>
修改Host端口对应的配置

name="localhost" unpackWARs="true">
heyj.net
www.test.net
www.run.net

4、输入localhost、heyj.net、www.test.net、www.run.net后，IE页面均能显示如图所示：

龙旋风 2015-05-27 11:02 发表评论

Input Text 的事件及方法

龙旋风 — Sat, 12 Jul 2014 03:06:00 GMT

摘要: 事件描述onactivate 当对象设置为活动元素时触发。onafterupdate 当成功更新数据源对象中的关联对象后在数据绑定对象上触发。onbeforeactivate 对象要被设置为当前元素前立即触发。onbeforecut 当选中区从文档中删除之前在源对象触发。onbeforedeactivate 在 activeElement 从当前对象变为父文档其它对象之前立即触发。onbefor... 阅读全文

龙旋风 2014-07-12 11:06 发表评论