spark的自留地(ofbiz/eclipse rcp/shark/opentaps)
  BlogJava :: 首页 :: 联系 :: 聚合  :: 管理
  54 Posts :: 0 Stories :: 112 Comments :: 0 Trackbacks

#

Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'
因为/ 下的磁盘空间快用完了，所以将mysql的data目录迁移到/mnt/mysql下，先修改/etc/my.conf:
[mysqld]
datadir=/mnt/mysql/data
socket=/mnt/mysql/mysql.sock

然后重启mysql， service mysqld restart
但始终提示启动失败，查看日志/var/log/mysqld.log，发现实际mysql已经启动。

编辑/usr/lib/mysql/mysql_config将
socket='/var/lib/mysql/mysql.sock'
修改为
socket='/mnt/mysql/mysql.sock'

问题消除。

但使用mysql本机访问时总是提示无法通过/var/lib/mysql/mysql.sock连接数据库，噢，原来是忘记在/etc/my.cnf中加入client配置了，
增加：
[client]
socket=/mnt/mysql/mysql.sock

后故障消除。怕自己以后迁移数据库忘记了，还是写篇blog记下为妙。
posted @ 2009-09-05 11:36 shanghai_spark 阅读(627) | 评论 (0) | 编辑 收藏

建了网站没内容咋办？整队网络爬虫出去抓去呀(一)
好象有日子没更新过blog了，写篇来证明博主的存在吧。

好多哥们建了网站，都不知道如何吸引别人的眼球。其实我觉得的，要么功能，要么内容。可是个人办的网站，就是二十四小时挂在网上不停的拷贝粘贴又能做得了多少内容？ 懒人自有懒办法，写个程序去抓去？


嗯，想到就得动手，不然过阵就忘记了，当然喽，还是谋定而后动，打算怎么整呢？先选择好技术：

1、谁去抓？好象好多人都推荐使用nutch或是herixtrix，不过我觉得象一般的小网站玩玩，就不必这么费事了，就用HTMLParser吧，抓取与解析一体化解决吧。

2、谁来格式化数据？同上了，俺用正则习惯了，正好node + regex 够你用了。

3、如何存储抓来的数据？ 我是用惯JavaEE了，那就 ibatis + mysql 吧，hiberate 就不必了，虽然我没打算做个多高负载的应用，但hibernate怎么也感觉不是很合适吧？ （喜欢hiberate别拍砖，我不喜欢口水战，各人有自喜好，而且hibernate我也很喜欢）

4、如何把你抓来的数据表现出来呢？ 这个就得看你自己的需要喽，CMS 还是 B2B电子商务程序？ 还是一个 CRM或ERP程序(如果这样的话，倒不妨试试opentaps？）

5、性能是不是问题？ 如果你打算做个专业的搜索引擎或是阿里巴巴之类的电子商务引擎，除去硬件的考虑、数据库的优化，也许你要更多地考虑cache的管理，还有可能考虑文件索引（如用lunece）

6、差点忘记了，谁来调度这些爬虫及程序之间的任务执行顺序呢？ 试试Quartz？！

又犯困了，先写这吧，正好有个朋友要我帮忙指导做个类似玩意儿，下次再记录吧。

posted @ 2009-08-04 21:33 shanghai_spark 阅读(1457) | 评论 (5) | 编辑 收藏

http 错误代码表
所有 HTTP 状态代码及其定义。
代码  指示  
2xx  成功  
200  正常；请求已完成。  
201  正常；紧接 POST 命令。  
202  正常；已接受用于处理，但处理尚未完成。  
203  正常；部分信息 — 返回的信息只是一部分。  
204  正常；无响应 — 已接收请求，但不存在要回送的信息。  
3xx  重定向  
301  已移动 — 请求的数据具有新的位置且更改是永久的。  
302  已找到 — 请求的数据临时具有不同 URI。  
303  请参阅其它 — 可在另一 URI 下找到对请求的响应，且应使用 GET 方法检索此响应。  
304  未修改 — 未按预期修改文档。  
305  使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。  
306  未使用 — 不再使用；保留此代码以便将来使用。  
4xx  客户机中出现的错误  
400  错误请求 — 请求中有语法问题，或不能满足请求。  
401  未授权 — 未授权客户机访问数据。  
402  需要付款 — 表示计费系统已有效。  
403  禁止 — 即使有授权也不需要访问。  
404  找不到 — 服务器找不到给定的资源；文档不存在。  
407  代理认证请求 — 客户机首先必须使用代理认证自身。  
415  介质类型不受支持 — 服务器拒绝服务请求，因为不支持请求实体的格式。  
5xx  服务器中出现的错误  
500  内部错误 — 因为意外情况，服务器不能完成请求。  
501  未执行 — 服务器不支持请求的工具。  
502  错误网关 — 服务器接收到来自上游服务器的无效响应。  
503  无法获得服务 — 由于临时过载或维护，服务器无法处理请求。
-----------------------------------------------------------------------------------------------------------------------
HTTP 400 - 请求无效 
HTTP 401.1 - 未授权：登录失败 
HTTP 401.2 - 未授权：服务器配置问题导致登录失败 
HTTP 401.3 - ACL 禁止访问资源 
HTTP 401.4 - 未授权：授权被筛选器拒绝 
HTTP 401.5 - 未授权：ISAPI 或 CGI 授权失败  
HTTP 403 - 禁止访问 
HTTP 403 - 对 Internet 服务管理器 (HTML) 的访问仅限于 Localhost 
HTTP 403.1 禁止访问：禁止可执行访问 
HTTP 403.2 - 禁止访问：禁止读访问 
HTTP 403.3 - 禁止访问：禁止写访问 
HTTP 403.4 - 禁止访问：要求 SSL 
HTTP 403.5 - 禁止访问：要求 SSL 128 
HTTP 403.6 - 禁止访问：IP 地址被拒绝 
HTTP 403.7 - 禁止访问：要求客户证书 
HTTP 403.8 - 禁止访问：禁止站点访问 
HTTP 403.9 - 禁止访问：连接的用户过多 
HTTP 403.10 - 禁止访问：配置无效 
HTTP 403.11 - 禁止访问：密码更改 
HTTP 403.12 - 禁止访问：映射器拒绝访问 
HTTP 403.13 - 禁止访问：客户证书已被吊销 
HTTP 403.15 - 禁止访问：客户访问许可过多 
HTTP 403.16 - 禁止访问：客户证书不可信或者无效 
HTTP 403.17 - 禁止访问：客户证书已经到期或者尚未生效 
HTTP 404.1 - 无法找到 Web 站点 
HTTP 404 - 无法找到文件 
HTTP 405 - 资源被禁止 
HTTP 406 - 无法接受 
HTTP 407 - 要求代理身份验证 
HTTP 410 - 永远不可用 
HTTP 412 - 先决条件失败 
HTTP 414 - 请求 - URI 太长 
HTTP 500 - 内部服务器错误 
HTTP 500.100 - 内部服务器错误 - ASP 错误 
HTTP 500-11 服务器关闭 
HTTP 500-12 应用程序重新启动 
HTTP 500-13 - 服务器太忙 
HTTP 500-14 - 应用程序无效 
HTTP 500-15 - 不允许请求 global.asa 
Error 501 - 未实现 
HTTP 502 - 网关错误 
posted @ 2009-02-05 22:40 shanghai_spark 阅读(533) | 评论 (0) | 编辑 收藏

The Data Model Resource Book - 读书笔记

为了进一步了解ofbiz/opentaps的ER模型，硬着头皮看了《The Data Model Resource Book》差不多两周。虽然还是有些地方有点吃不准，总体来说还是收益良多。我尝试将它的思想与我以往用过或是我了解的对业务建模的ER模型进行对比，可以在以后的开发中汲取经验：

1、实体之间的关系或是本身的描述都是有生命周期的，这一点从ER Diagram中随处可见的From Date 与Thru Date可以充分体现出来。

2、以第三方角度对业务建模而非“我”方角度建模，这个比较有趣，通常来说我们会把销售订单与采购订单分成两个实体，这是因为我们从使用者角度来看销售订单与采购订单是不同的业务类型，而从第三方角度来着，销售订单与采购订单都是当事人之间发生的采购/销售业务，关心的业务内容与属性完全一致，而这样建模可以带来大量的业务逻辑共用与可扩展性。

3、抽象层次较高的业务实体，通过属性内容进一步细化业务对象。

这是我感觉比较重点的几个点，先记下！
posted @ 2009-01-14 10:57 shanghai_spark 阅读(1995) | 评论 (1) | 编辑 收藏

Inventory Item序列化的含义
看opentaps关于库存管理的文档时,总是被Serialized Inventory Item与Non Serialized Inventory Item弄得一头雾水.

看了一下<<The Data Model Resource Book>>的这段话才弄明白：
The INVENTORY ITEM may be either a SERIALIZED INVENTORY ITEM,which means each item's serial num(ber) is tracked, or a NON-SERIALIZED
INVENTORY ITEM, which means a group of items is tracked together and the quantity on hand for these is maintained by their location.

即产品是按个体单独跟踪，还是按相同群体特征进行数据和存放地点跟踪管理．

记下来，不要下次再忘记了！
posted @ 2009-01-07 16:42 shanghai_spark 阅读(530) | 评论 (1) | 编辑 收藏

调整讨厌的TCP/IP堆栈,减少TCP死连接
今天又是一阵头痛,上午网络超不好,老是连不入服务器,搞得服务器越来越慢,也不知道原因,在服务器上运行
netstat -anp|grep 服务端口号 |grep TIME_WAIT|wc -l 一看,几百个死连接在等待处理呢.

怎么办?上网查了下资料,原来是可恶的TCP/IP栈,调整一下timeout相关参数:

echo "30">/proc/sys/net/ipv4/tcp_fin_timeout
echo "1800">/proc/sys/net/ipv4/tcp_keepalive_time
echo "0">/proc/sys/net/ipv4/tcp_window_scaling
echo "0">/proc/sys/net/ipv4/tcp_sack
echo "0">/proc/sys/net/ipv4/tcp_timestamps

嘿,立竿见影,死连接数立即就下去了,很少看得到TIME_WAIT的连接了.
posted @ 2008-12-11 19:05 shanghai_spark 阅读(1313) | 评论 (0) | 编辑 收藏

写个crontab监控程序进程,让自己睡个好觉!

兄弟们不知道是否有被要求24小时不允许关机的痛苦经历，有时半夜正在做着美梦却被客户或老板抓起来一通臭骂，服务器怎么回事down了，网站访问不了... 唉，真是痛不欲生呀！

经历过N次折磨后，我下定决心要改变这种情况，想一下，也许我可以写个crontab来监控程序的运行情况，如果服务停止或发生了不可修复的错误时，自动重启服务器，这样我就不用担心半夜被人抓起来骂了。

说动手就动手，虽说我linux/unix脚本不是很熟，但我想应该也难不到我，左瞧瞧右看看，拼出了一个脚本，给大家参考下，大家可以修改下路径与端口适应自己的程序：

#查找当前工作日志文件，判断是否发生不可修复的错误，若有则重启
LOG=`ls /workdir/server-*.log -lrt |tail -1`
ERROR_NUM=`cat $LOG | grep java.lang.OutOfMemoryError | wc -l`
if [ $ERROR_NUM -ne 0 ];then
        echo "found $ERROR_NUM times at $LOG"
        kill -9 `netstat -anp|grep :::8080 | awk '{print substr($7,1,index($7,"/java")-1)}'`
        cd /workdir;exec startserver.sh
        exit
fi
#检查当前服务是否还在运行，若已停止，则重新启动
PROCESS_NUM=`netstat -anp|grep :::8080 | awk '{print substr($7,1,index($7,"/java")-1)}' | wc -l`
if [ $PROCESS_NUM -eq 0 ];
then
        cd /workdir;exec startserver.sh
fi

然后在crontab中定时执行此脚本，就可以了！嘿... 这下闹心的电话少多了，当然不要忘记定时去看下日志哦！

本人原创文章，转载请注明出处！
posted @ 2008-12-10 16:54 shanghai_spark 阅读(2211) | 评论 (3) | 编辑 收藏

从今天开始好好学习pentaho

在同si chen的沟通中,他觉得pentaho是一个很不错的东东,如果把它同业务数据结合起来进行分析,可能会产生一些非常美妙的结果.于是有想好好了解一下pentaho的愿望.

本人的学习习惯一直的方针是:如果一个东东不能让我在30分钟内跑出它的demo,我暂时是不会去了解它的(窃以为这叫不够友好也不够成品化)

pentaho这点很争气,下载下来解压,双击"start-pentaho.bat" 文件就顺利的跑起来了. (不过究竟应该下载哪个文件让我头痛好久, 网上大多都是介绍1.x的安装,我睁大眼也没找到啥pre-install版本,犯迷糊的兄弟直接在 http://sourceforge.net/projects/pentaho/ 下载 Business Intelligence Server 吧)

接下来先看看它包含的内容 (http://www.pentaho.com/about/) :

 

依惯例开篇先吹水:

Pentaho是一个可以替代商业智能的开源方案.Pentaho Open BI套件提供全面的报表,OLAP分析,仪表板,数据集成,数据采集及商业智能平台,是世界领先而且广泛使用的开源商业智能套件.Pentaho商业开源业务模型减少了软件授权费用,提供支持,服务以及产品增强年度订阅.从Pentaho开创至今一直是开源商业智能的先锋,Pentaho产品已经被下载超过3百万次,产品应用于从小企业到全球2000强的企业中.


经验丰富的团队

由包括 Business Objects, Cognos, Hyperion, IBM, JBoss, Oracle, Red Hat, 及SAS协会等业界领导者供应商的退休人士创建


广泛的能力

报表                            数据集成                    
分析                            数据采集
仪表板                        商业智能平台

 

高伸缩性

Pentaho是世界广泛部署的开源商业智能套件.可以提供给不同规模不同行业的企业使用.

Pentaho是在开源领域内首个且唯一的全面商业智能平台,全部来源于开源社区中.

Pentaho是唯一在开源商业智能套件领域内即是核心项目领导者也是赞助者的产品.其它整合非他们赞助或控制的第三方商业智能模块的商业智能套件,不能提供专业水准、服务承诺、或产品路线图。而Pentaho可以做到。

Pentaho商业开源业务模型减少软件授权费用，提供支持，服务以及通过年度订阅获得产品增强内容。


可伸缩的部署

完整，集成的商业智能平台
独立的，开箱即用的产品
为Java开发人员提供可嵌入的组件

 

高品质的专业服务

特制的支持提供
有经验的顾问及世界范围内的顾问合作者
一站式，公共，在线培训及专业认证项
提供使用Pentaho技术进行OEM服务

嗯,看着好象很不错的样子,以后每天看半小时!



本人译自 http://www.pentaho.com/about/ , 转载请注明出处!
posted @ 2008-11-28 18:17 shanghai_spark 阅读(4348) | 评论 (3) | 编辑 收藏

在JasperReport报表中加入大写金额
     摘要: 我们在制作单证或报表时，客户经常要我们把最后的合计数转写中文大写金额。这个需求很合理，但感觉并不容易实现，如何在JasperReport中加入大写金额的实现呢？提供一种实现的方法给大家参考。 实现思路： 在报表执行过程中使用scirptlet将存放着数字金额的变量读出转换成大写金额字符串后放入大写金额变量中。报表即可象显示普通字符变量一样显示大写金额。 TransChineseMon...  阅读全文
posted @ 2008-11-19 12:20 shanghai_spark 阅读(4009) | 评论 (13) | 编辑 收藏

"ORA-01940: 无法删除当前已连接的用户"的解决方法

明明不是DBA，时不时也得干下属于他们的活。

“老大，我删除数据库用户时老是出错呀！报"ORA-01940: 无法删除当前已连接的用户"的错”

“废话，全世界都挂在上面，你看会话中几十个主连在上面，怎么删除呀？”

小弟一脸无辜的站在面前：“这个数据要更新一下，我总不能一个个去求他们断线吧？腿都要跑断的啦！”

“唉，那就强断吧！”

select username,sid,serial# from v$session where username='UNTWORLD'; 


ORACLE会话列表

挨个踢吧！

alter system kill session'127,59560';


喂，你怎么把我踢出来了？我的结果还没跑完呢...

posted @ 2008-11-18 11:36 shanghai_spark 阅读(5141) | 评论 (1) | 编辑 收藏

仅列出标题
共6页: 上一页 1 2 3 4 5 6 下一页