文档章节

[转载]StreamTokenizer类的一些说明

zerodeng
 zerodeng
发布于 2014/05/15 16:19
字数 792
阅读 789
收藏 7

一直以来,我们都知道字符串的分割最常用的是java.util.StringTokenizer,但是某些时候,StringTokenizer有很大的局限性。
   StreamTokenizer定义了几种基本的常量用于标识解析过程:TT_EOF(流结尾)、TT_EOL(行结尾)、
TT_NUMBER(数字符号, 0 1 2 3 4 5 6 7 8 9 . -都属于数字语法)、TT_WORD(一个单词)。
   其含有的基本方法介绍一下:
   commenChar(int ch) - 指定某个字符为注释字符,此字符之后直到行结尾都被stream tokenizer忽略。
   eolIsSignificant(boolean flag) - 决定一个行结束符是否被当作一个基本的符号处理,如果是true,则被当作一个基本符号,不当作普通的分隔符,如果是false,则保持原义,即当作普通的分隔符。
   lineno() - 返回当前流所在的行号。
   lowerCaseMode(boolean flag) - 决定是否读取一个单词时是否转变成小写。
   nextToken() - 分析下一个。
   ordinaryChar(int ch) - 指定字符在这个tokenizer中保持原义,即只会把当前字符认为普通的字符,不会有其他的语义。
   ordinaryChars(int low, int hi) - 指定范围内的字符保持语义,同上
   parseNumbers() - 当stream tokenizer遭遇到一个单词为双精度的浮点数时,会把它当作一个数字,而不是一个单词。
   pushBack() - 回退,会引起下一个nextToken方法返回当前值。
   quoteChar(int ch) - 指定当前字符为当前tokenizer中的分隔符,在两个符号之间被当作一个字符串解析。
   resetSyntax() - 重置语法表使所有的字符都被认为是“ordinary”。
   slashSlashComments(boolean flag) - 如果为true,则/*与*/之间的都被认为是注释,反之,不是。
   slashStartComments(boolean flag) - 如果为true,则//之后到行结尾的所有都被认为是注释,反之,不是。 
   whitespaceChars(int low, int hi) - 字符low与hi之间的所有字符都被当作为空格符,即被认识为tokenzier的分隔符。
   wordChars(int low, int hi) - 字符low与hi之间的所有字符都被当作为单词的要素。
   一个单词是由一个单词要素后面跟着0个或者更多个单词要素或者数字要素。
  
   api不是很复杂吧~应该不难理解。
   一下举个例子会一幕了然:

//SetupaStreamTokenizeronthecharactersinthisString
  StreamTokenizer st =new StreamTokenizer (new StringReader (svalue ));
  //知道该怎么解析字符串了吧。
  st.whitespaceChars (',',',');
  //Commasaredelimiters
  st.ordinaryChars ('0','9');
  //Neededtoturnoffnumericflag
  st.ordinaryChars ('.','.');
  st.ordinaryChars ('-','-');
  st.wordChars ('0','9');
  //Neededtomakepartoftokens
  st.wordChars ('.','.');
  st.wordChars ('-','-');
  //Splitcomma-delimitedtokensintoaList
  ArrayList list =new ArrayList ();
  while (true )
  {...
      int ttype =st.nextToken ();
      if ((ttype ==StreamTokenizer.TT_WORD )||(ttype >0 ))
      {...
          list.add (st.sval );
      }
      else if (ttype ==StreamTokenizer.TT_EOF )
      {...
          break ;
      }
      else 
      {...
          throw new ConversionException ("Encounteredtokenoftype"+ttype );
      }
  }


   [转载地址]:http://blog.csdn.net/yemy/archive/2005/12/07/546394.aspx


本文转载自:http://blog.csdn.net/yemy/archive/2005/12/07/546394.aspx

zerodeng

zerodeng

粉丝 7
博文 13
码字总数 4923
作品 0
湛江
程序员
私信 提问
Java IO最详解

初学java,一直搞不懂java里面的io关系,在网上找了很多大多都是给个结构图草草描述也看的不是很懂。而且没有结合到java7 的最新技术,所以自己来整理一下,有错的话请指正,也希望大家提出宝...

ForingY
2016/02/29
33
0
探究java.io之I/O类和接口

基于流的I/O系统被打包到java.io包中,本系列介绍那些自Java最初发布以来就已提供且广泛使用的部分。然而,从1.4版本开始,Java添加了另一套I/O系统,被称为NIO(也就是new I/O系统的缩写)。...

柳哥
2014/11/10
370
0
StreamTokenizer 把一个字符串中的什么作为标记切割的啊?

如: st = new StreamTokenizer(new StringReader(“public boolean java.lang.String.equals(java.lang.Object)”)); 里面的每个单词都作为标记吗? 那么空格算不算是标记啊?...

zerodeng