时间戳

首页 > 解决方案 > Weka CSVloader - 错误（错误的值数。读取）

java - Weka CSVloader - 错误（错误的值数。读取）

问题描述

我正在尝试使用 weka 将 CSV 转换为 ARFF。但它会弹出那些错误消息。

weka.core.converters.CSVLoaderfailed to lead <my file>
Reason:
wrong number of values. Read 7, expected 9, read Token[EOL], line 26

我试图替换" ' , %那些特殊字符，但也保持不变。

任何想法？

https://drive.google.com/open?id=1__u9SGOxd-ShU9Eei3tDjZ9s1MxzKEKZ 文件链接

标签： javaweka

解决方案

简短的回答：

值内部的换行符是问题所在。将它们替换为其他内容，例如空格。

长答案：

问题是您的值包含换行符（\n或此类），并且 Weka 的 CSVLoader 无法处理它。第 26 行是文件中包含此类换行符的第一行，但 CSVLoader 认为该行仅在读取 7 个字段后结束。

看看源代码：

private void initTokenizer(StreamTokenizer tokenizer) {
  tokenizer.resetSyntax();
  tokenizer.whitespaceChars(0, (' ' - 1));
  tokenizer.wordChars(' ', '\u00FF');
  tokenizer.whitespaceChars(m_FieldSeparator.charAt(0),
    m_FieldSeparator.charAt(0));
  // tokenizer.commentChar('%');

  String[] parts = m_Enclosures.split(",");
  for (String e : parts) {
    if (e.length() > 1 || e.length() == 0) {
      throw new IllegalArgumentException(
        "Enclosures can only be single characters");
    }
    tokenizer.quoteChar(e.charAt(0));
  }

  tokenizer.eolIsSignificant(true);    // <--- This line is important
}

那里的最后一行基本上说标记器应该将行尾（EOL）视为特殊字符（请参阅API 文档）：

如果标志为假，则行尾字符被视为空格并仅用于分隔标记。

CSVLoader的getInstance方法包含这个逻辑（总结）：

private String getInstance(StreamTokenizer tokenizer) throws IOException {  

    // [...]

    boolean first = true;
    boolean wasSep;
    m_current.clear();

    int i = 0;
    while (tokenizer.ttype != StreamTokenizer.TT_EOL
      && tokenizer.ttype != StreamTokenizer.TT_EOF) {

      // Get next token
      if (!first) {
        StreamTokenizerUtils.getToken(tokenizer);
      }

      if (tokenizer.ttype == m_FieldSeparator.charAt(0)
        || tokenizer.ttype == StreamTokenizer.TT_EOL) {
        m_current.add("?");
        wasSep = true;
      } else {
        // Parsing values
        // [...]
      }

      if (!wasSep) {
        StreamTokenizerUtils.getToken(tokenizer);
      }
      first = false;
      i++;
    }

    // check number of values read
    if (m_current.size() != m_structure.numAttributes()) {
      for (Object o : m_current) {
        System.out.print(o.toString() + "|||");
      }
      System.out.println();
      StreamTokenizerUtils.errms(tokenizer, "wrong number of values. Read "
        + m_current.size() + ", expected " + m_structure.numAttributes());

    }
  // [...]
}

因此，无论换行符是否在引号内，标记器都会将其视为StreamTokenizer.TT_EOL，这会结束读取记录，因此您最终会得到比预期更少的字段。

推荐阅读