BlogJava-马可波罗的梦乡-文章分类-weka

DM Stories

梦回唐朝 — Mon, 19 Oct 2009 06:04:00 GMT

1、出售奶牛。挤奶器会记录奶牛的牛奶产量，1record/2day。可以根据统计规律，出售那些牛奶产量相对不高的奶牛。挺有趣，有什么模型解决这种问题最合适呢?
2、天气预测，根据其他属性来预测天气中的另外一个属性。

梦回唐朝 2009-10-19 14:04 发表评论

DM Concept

梦回唐朝 — Mon, 19 Oct 2009 05:44:00 GMT

1、把零散的信息集成到数据仓库中，对决策有巨大的好处。
2、数据清理应该是一个繁琐的过程。即使是数据仓库，也不可能包含所有的数据，如果没有解决问题的全部数据，就需要到外部获取数据，并对这些数据进行清理，同时把这些数据集成到数据仓库中去。
3、经常需要对数据进行规格化操作，如使某个属性的值在0-1区间。规格化操作的方法很多，如除以发现的最大数，或求统计均值，方差等。
4、通过使用距离函数，名词值也可以转成成数字。如两个名字相同，则值为0，两个名字不同，则值为1。
5、有时数据本身具备一些源自自身的映射关系，如电话号码前的区号，邮编。学号前几位数字可能代表该学生的入学时间等。
6、现实生活中遇到的大部分数据集，都会包含缺失值，即missing value。
7、数据有缺失是很正常的情形。如医学实验，如果动物在实验完成之前就死掉了，有些数据就不能采集到了。数据缺失并不一定使用问号表示，也可以用超出正常值的一些特定值来表示，如使用负数和零等。即使同样是缺失值，也可以有多种原因，可以使用不同的负值表示。。。
8、

梦回唐朝 2009-10-19 13:44 发表评论

Weka Concept

梦回唐朝 — Fri, 16 Oct 2009 05:41:00 GMT

1、Weka中所有的学习算法都继承自weka.classifiers.Classifier。基本分类器十分简单，一个程序用于从训练数据创建分类器，另一个程序则通过未知数据来验证生成模型，或者为所有的类生成概率分布。
2、数据串行化需要实现Serializable接口，可以把对象串行化到持久存储中，还没怎么用过，除了做Eclipse插件时修改过。存储时，还可以选择压缩存储。
3、把所有的数据放在Instance中。weka有Instance类，里面还有各种Attribute。有点像Lucene的Document类可以有多个Field一样。
4、ARFF是表达包含相互独立、没有次序关系数据实例数据集的一种标准方式。(在Weka中应该是大量使用这种数据格式)。ARFF文件只给出dataset，并没有说明需要通过哪些属性预测另外哪个属性。这说明，通过同一个文件，可以研究哪些属性可以较好地预测另外一个属性，也可以研究关联规则，或进行聚类操作。
@data 表示要开始给出数据集的数据实例了。
数据实例中，值通过逗号进行分隔。如果某个值是缺失的，则用一个问号表示。
ARFF允许使用两种类型的数据，分别是名词和数值类型。

5、

梦回唐朝 2009-10-16 13:41 发表评论