所有随笔区最新随笔(rss) RSS

spark 累加历史 + 统计全部 + 行转列

     摘要: spark 累加历史主要用到了窗口函数,而进行全部统计,则需要用到rollup函数 1  应用场景:   1、我们需要统计用户的总使用时长(累加历史)   2、前台展现页面需要对多个维度进行查询,如:产品、地区等等   3、需要展现的表格头如: 产品、2015-04、2015-05、2015-06 2 原始数据: product_code |event_date |dur...  阅读全文

2017-10-23 22:05 作者: xzc【评论:0】【阅读:3】 

Spark分析窗口函数

     摘要: Spark1.4发布,支持了窗口分析函数(window functions)。在离线平台中,90%以上的离线分析任务都是使用Hive实现,其中必然会使用很多窗口分析函数,如果SparkSQL支持窗口分析函数, 那么对于后面Hive向SparkSQL中的迁移的工作量会大大降低,使用方式如下: 1、初始化数据 创建表 [sql] view plain cop...  阅读全文

2017-10-23 22:04 作者: xzc【评论:0】【阅读:4】 

SparkSQL相关语句总结

     摘要: SparkSQL相关语句总结 1.in 不支持子查询 eg. select * from src where key in(select key from test);支持查询个数 eg. select * from src where key in(1,2,3,4,5);in 40000个 耗时25.766秒in 80000个 耗时78.827秒2.union all/union不支持顶层...  阅读全文

2017-10-23 21:03 作者: xzc【评论:0】【阅读:6】 

spring-boot 文件上传

     摘要: spring-boot文件上传同时包含Dto  阅读全文

2017-10-19 13:28 作者: 朔望魔刃【评论:0】【阅读:23】 

阿里安装node

     摘要:   阅读全文

2017-10-19 10:42 作者: 林的【评论:0】【阅读:9】 

IDE环境配置

oracle 下载地址:http://blog.itpub.net/16886618/viewspace-1365348/
MAVEN安装:http://www.cnblogs.com/izecsonLee/p/6155868.html   最后setting文件localRepository改为 本机地址。

2017-10-17 23:43 作者: 半导体【评论:0】【阅读:11】 

结束《Java编程思想》(Thinking in Java)自学的读后感(2017.10.15)

     摘要: 首先划重点:这是一本Java的入门书。 自学前需要的条件:已经具备基本的计算机基础。 1)已经对一种编程语言比较熟悉; 2)有过四年计算机专业学习,或者三年以上的软件开发经验, 自学的方法: 1)完全自学:手工输入代码,看懂习题的答案。 注:把下载的代码运行通过是不行的,自行输入代码也是对Java语言的熟悉过程 2)结伴学习:通过讨论深入理解代码,结伴搞定习题。 3)前辈指导:由前辈帮助搭建编...  阅读全文

2017-10-15 12:11 作者: 朱远翔【评论:0】【阅读:524】 

IEEE 754 浮点存储小记

     摘要: IEEE 754:https://zh.wikipedia.org/wiki/IEEE_754FLOAT:31  30         22       15          7          0+---+----...  阅读全文

2017-10-12 11:23 作者: stone2083【评论:0】【阅读:180】 

转: Nginx + Tomcat + HTTPS 配置不需要在 Tomcat 上启用 SSL 支持

     摘要: from:http://blog.csdn.net/vfush/article/details/51086274最近做了个Web项目, 架构上使用了 Nginx +tomcat 集群, 且全站HTTPS,用nginx 做负载,nginx和tomcat 使用内网http通信,遇到http css,js静态资源被浏览器拦截问题,网上搜索到的很多文章在描述 Nginx + Tomcat 启用 HTTPS...  阅读全文

2017-10-12 11:02 作者: 小马歌【评论:0】【阅读:21】 

springCloud、boot集成elk

     摘要: elasticsearch、logstash、kibana版本均为5.6.2版,需要注意版本匹配问题1,启动elashticsearch2,logstash/config目录下新建log.conf文件,其内容:input {  # For detail config for log4j as input,   # See: https://www.elastic.co...  阅读全文

2017-10-08 19:15 作者: 傻 瓜【评论:0】【阅读:333】 

jquery xml

     摘要: $.ajax({            url:"${base}/bosImg.xml",            dataType:"xml",     &nb...  阅读全文

2017-10-04 01:06 作者: 有机肥【评论:0】【阅读:13】 

springboot、mybatis、mycat分库实践

     摘要: 1.pom文件中引入下面引入mybatis逆向工程插件 <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> ...  阅读全文

2017-10-01 17:40 作者: 傻 瓜【评论:0】【阅读:458】 

springboot中action绑定ServletRequest的attirbute的值传参

     摘要: 有些时候需要在后台处理一封装一些参数送到action中便于业务处理.比于app中的token验证,根据token查找到对应的用户信息。比如分布式框架中获取用户信息等.springboot中可以自定义参数解析器来绑定参数,通过它可以拿到ServletRequest中的attirbute中的值进行参数绑定。自定义一个annotation,通过这个注解中的 name查找attribute中的key对应的...  阅读全文

2017-09-29 11:58 作者: 傻 瓜【评论:0】【阅读:294】 

java8国际化直接支持的语言列表

     摘要: System.out.println("availableLocales :"+ Locale.getAvailableLocales().length);Locale[] arr=Locale.getAvailableLocales(); Arrays.sort(arr, new Comparator<Locale>() { @Override public int comp...  阅读全文

2017-09-27 20:17 作者: leekiang【评论:0】【阅读:27】 

web工程在eclipse tomcat启动两次

解决办法:找到tomcat目录的conf下的server.xml
<Context docBase="fms3" path="/fms3" reloadable="true" source="org.eclipse.jst.jee.server:fms3"/></Host>
工程右键properties下的web project setting的context root和上面的path,docbase保持一致

2017-09-27 14:50 作者: 朱杰兵【评论:0】【阅读:105】 

sbringboot异步执行

     摘要: 把需要异步执行的任务丢到统一的线程池里执行,这个想法不错。springboot简化这个的代码。实现如下:import java.util.concurrent.Executor;import org.springframework.aop.interceptor.AsyncUncaughtExceptionHandler;import org.springframework.context.ann...  阅读全文

2017-09-26 12:26 作者: 傻 瓜【评论:0】【阅读:26】 

一致性hash算法(JAVA)-转

     摘要: Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->Java代码 public class ConsistentHash<T> {      &...  阅读全文

2017-09-26 00:20 作者: fly【评论:0】【阅读:39】 

JAX-RS2资源

     摘要: JAX-RS 2比JAX-RS 1增加了过滤器、拦截器、异步处理等特性。@import url(http://www.blogjava.net/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css); JAXRSClientSp...  阅读全文

2017-09-24 17:19 作者: paulwong【评论:0】【阅读:121】 

技 术 改 变 世 界

宣传语

网站分类

其他分类

Google站内搜索

 

24小时内最热随笔

统计信息

订阅

Blog客户端API

推荐客户端

博客排行榜[前100人]

友情链接