...
|
+- text_example
|
+- class1
|  |
|  + file1.txt
|  |
|  + file2.txt
|  |
|  ...
|
+- class2
|  |
|  + another_file1.txt
|  |
|  + another_file2.txt
|  |
|  ...

 1import weka.core.*;
 2import weka.core.converters.*;
 3import weka.classifiers.trees.*;
 4import weka.filters.*;
 5import weka.filters.unsupervised.attribute.*;
 6
 7import java.io.*;
 8
 9/** *//**
10 * Example class that converts HTML files stored in a directory structure into 
11 * and ARFF file using the TextDirectoryLoader converter. It then applies the
12 * StringToWordVector to the data and feeds a J48 classifier with it.
13 *
14 * @author FracPete (fracpete at waikato dot ac dot nz)
15 */
16public class TextCategorizationTest {
17
18  /** *//**
19   * Expects the first parameter to point to the directory with the text files.
20   * In that directory, each sub-directory represents a class and the text
21   * files in these sub-directories will be labeled as such.
22   *
23   * @param args        the commandline arguments
24   * @throws Exception  if something goes wrong
25   */
26  public static void main(String[] args) throws Exception {
27    // convert the directory into a dataset
28    TextDirectoryLoader loader = new TextDirectoryLoader();
29    loader.setDirectory(new File("./text_example"));
30    Instances dataRaw = loader.getDataSet();
31    System.out.println("\n\nImported data:\n\n" + dataRaw.numClasses());
32
33    // apply the StringToWordVector
34    // (see the source code of setOptions(String[]) method of the filter
35    // if you want to know which command-line option corresponds to which
36    // bean property)
37    StringToWordVector filter = new StringToWordVector();
38    filter.setInputFormat(dataRaw);
39    Instances dataFiltered = Filter.useFilter(dataRaw, filter);
40    System.out.println("\n\nFiltered data:\n\n" + dataFiltered);
41
42    // train J48 and output model
43    J48 classifier = new J48();
44    classifier.buildClassifier(dataFiltered);
45    System.out.println("\n\nClassifier model:\n\n" + classifier);
46  }
47}
48

 1/** *//**
 2 * 
 3 */
 4package edu.tju.ikse.mi.util;
 5
 6import java.io.File;
 7import java.io.IOException;
 8import java.util.Random;
 9
10import weka.attributeSelection.ASEvaluation;
11import weka.attributeSelection.ASSearch;
12import weka.attributeSelection.AttributeSelection;
13import weka.attributeSelection.BestFirst;
14import weka.attributeSelection.CfsSubsetEval;
15import weka.core.Instances;
16import weka.core.converters.ArffLoader;
17
18/** *//**
19 * @author Jia Yu
20 * @date 2010-11-23
21 */
22public class WekaSelector {
23
24    private ArffLoader loader;
25    private Instances dataSet;
26    private File arffFile;
27    private int sizeOfDataset;
28    private int numOfOldAttributes;
29    private int numOfNewAttributes;
30    private int classIndex;
31    private int[] selectedAttributes;
32
33    public WekaSelector(File file) throws IOException {
34        loader = new ArffLoader();
35        arffFile = file;
36        loader.setFile(arffFile);
37        dataSet = loader.getDataSet();
38        sizeOfDataset = dataSet.numInstances();
39        numOfOldAttributes = dataSet.numAttributes();
40        classIndex = numOfOldAttributes - 1;
41        dataSet.setClassIndex(classIndex);
42    }
43
44    public void select() throws Exception {
45        ASEvaluation evaluator = new CfsSubsetEval();
46        ASSearch search = new BestFirst();
47        AttributeSelection eval = null;
48
49        eval = new AttributeSelection();
50        eval.setEvaluator(evaluator);
51        eval.setSearch(search);
52
53        eval.SelectAttributes(dataSet);
54        numOfNewAttributes = eval.numberAttributesSelected();
55        selectedAttributes = eval.selectedAttributes();
56        System.out.println("result is "+eval.toResultsString());
57        /**//*
58        Random random = new Random(seed);
59        dataSet.randomize(random);
60        if (dataSet.attribute(classIndex).isNominal()) {
61            dataSet.stratify(numFolds);
62        }
63        for (int fold = 0; fold < numFolds; fold++) {
64            Instances train = dataSet.trainCV(numFolds, fold, random);
65            eval.selectAttributesCVSplit(train);
66        }
67        System.out.println("result is "+eval.CVResultsString());
68        */
69        System.out.println("old number of Attributes is "+numOfOldAttributes);
70        System.out.println("new number of Attributes is "+numOfNewAttributes);
71        for(int i=0;i<selectedAttributes.length;i++){
72            System.out.println(selectedAttributes[i]);
73        }
74    }
75
76    /** *//**
77     * @param args
78     */
79    public static void main(String[] args) {
80        // TODO Auto-generated method stub
81        File file = new File("iris.arff");
82        try {
83            WekaSelector ws = new WekaSelector(file);
84            ws.select();
85            
86        } catch (IOException e) {
87            // TODO Auto-generated catch block
88            e.printStackTrace();
89        } catch (Exception e) {
90            // TODO Auto-generated catch block
91            e.printStackTrace();
92        }
93
94    }
95
96}
97

result is

=== Attribute Selection on all input data ===

Search Method:
 Best first.
 Start set: no attributes
 Search direction: forward
 Stale search after 5 node expansions
 Total number of subsets evaluated: 12
 Merit of best subset found:    0.887

Attribute Subset Evaluator (supervised, Class (nominal): 5 class):
 CFS Subset Evaluator
 Including locally predictive attributes

Selected attributes: 3,4 : 2
                     petallength
                     petalwidth

old number of Attributes is 5
new number of Attributes is 2
2
3
4

原来的iris数据集中共有4个属性（包含一个分类类标所以一共5维），经过特征选择后，只有第3和第4两个维度的特征保留，所以新特征子集有两个维度（不包含类标，有点绕，不好意思，我总是这样）。
最后的2，3，4是属性数组的下标，表示经过特征选择保留的属性子集是第3，4，5个属性。