摘要: spark 累加历史主要用到了窗口函数，而进行全部统计，则需要用到rollup函数
1 应用场景：
1、我们需要统计用户的总使用时长（累加历史）
2、前台展现页面需要对多个维度进行查询，如：产品、地区等等
3、需要展现的表格头如： 产品、2015-04、2015-05、2015-06
2 原始数据：
product_code |event_date |dur... 阅读全文
摘要: Spark1.4发布，支持了窗口分析函数(window functions)。在离线平台中，90%以上的离线分析任务都是使用Hive实现，其中必然会使用很多窗口分析函数，如果SparkSQL支持窗口分析函数，
那么对于后面Hive向SparkSQL中的迁移的工作量会大大降低，使用方式如下：
1、初始化数据
创建表
[sql] view plain cop... 阅读全文
摘要: SparkSQL相关语句总结
1.in 不支持子查询 eg. select * from src where key in(select key from test);支持查询个数 eg. select * from src where key in(1,2,3,4,5);in 40000个 耗时25.766秒in 80000个 耗时78.827秒2.union all/union不支持顶层... 阅读全文
摘要: spring-boot文件上传同时包含Dto 阅读全文
摘要: 首先划重点：这是一本Java的入门书。 自学前需要的条件：已经具备基本的计算机基础。 1）已经对一种编程语言比较熟悉； 2）有过四年计算机专业学习，或者三年以上的软件开发经验， 自学的方法： 1）完全自学：手工输入代码，看懂习题的答案。 注：把下载的代码运行通过是不行的，自行输入代码也是对Java语言的熟悉过程 2）结伴学习：通过讨论深入理解代码，结伴搞定习题。 3）前辈指导：由前辈帮助搭建编... 阅读全文
摘要: IEEE 754:https://zh.wikipedia.org/wiki/IEEE_754FLOAT:31 30 22 15 7 0+---+----... 阅读全文
摘要: from:http://blog.csdn.net/vfush/article/details/51086274最近做了个Web项目, 架构上使用了 Nginx +tomcat 集群, 且全站HTTPS，用nginx 做负载，nginx和tomcat 使用内网http通信，遇到http css，js静态资源被浏览器拦截问题，网上搜索到的很多文章在描述 Nginx + Tomcat 启用 HTTPS... 阅读全文
摘要: elasticsearch、logstash、kibana版本均为5.6.2版,需要注意版本匹配问题1,启动elashticsearch2,logstash/config目录下新建log.conf文件,其内容：input { # For detail config for log4j as input, # See: https://www.elastic.co... 阅读全文
摘要: $.ajax({ url:"${base}/bosImg.xml", dataType:"xml", &nb... 阅读全文
摘要: 1.pom文件中引入下面引入mybatis逆向工程插件 <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> ... 阅读全文
摘要: 有些时候需要在后台处理一封装一些参数送到action中便于业务处理.比于app中的token验证,根据token查找到对应的用户信息。比如分布式框架中获取用户信息等.springboot中可以自定义参数解析器来绑定参数，通过它可以拿到ServletRequest中的attirbute中的值进行参数绑定。自定义一个annotation,通过这个注解中的 name查找attribute中的key对应的... 阅读全文
摘要: System.out.println("availableLocales :"+ Locale.getAvailableLocales().length);Locale[] arr=Locale.getAvailableLocales(); Arrays.sort(arr, new Comparator<Locale>() { @Override public int comp... 阅读全文
解决办法：找到tomcat目录的conf下的server.xml
<Context docBase="fms3" path="/fms3" reloadable="true" source="org.eclipse.jst.jee.server:fms3"/></Host>
工程右键properties下的web project setting的context root和上面的path,docbase保持一致 摘要: 把需要异步执行的任务丢到统一的线程池里执行，这个想法不错。springboot简化这个的代码。实现如下：import java.util.concurrent.Executor;import org.springframework.aop.interceptor.AsyncUncaughtExceptionHandler;import org.springframework.context.ann... 阅读全文
摘要: Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->Java代码 public class ConsistentHash<T> { &... 阅读全文
摘要: JAX-RS 2比JAX-RS 1增加了过滤器、拦截器、异步处理等特性。@import url(http://www.blogjava.net/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);
JAXRSClientSp... 阅读全文