一、概述
　　　　
　　　　web服务器的核心是对html文件中的各标记（tag）作出正确的分析，一种编程语言的解释程序也是对源文件中的保留字进行分析再做解释的。实际应用中，我们也常常会遇到需要对某一特定类型文件进行关键字分析的情况，比如，需要将某个html文件下载并同时下载与之相关的.gif、.class等文件，此时就要求对html文件中的标记进行分离，找出所需的文件名及目录。在java出现以前，类似工作需要对文件中的每个字符进行分析，从中找出所需部分，不仅编程量大，且易出错。笔者在近期的项目中利用java的输入流类streamtokenizer进行html文件的分析，效果较好。在此，我们要实现从已知的web页面下载html文件，对其进行分析后，下载该页面中包含的html文件（如果在frame中）、图像文件和class（java applet）文件。
　　　　
　　　　二、streamtokenizer类
　　　　
　　　　streamtokenizer即令牌化输入流的作用是将一个输入流中变成令牌流。令牌流中的令牌实体有三类：单词（即多字符令牌）、单字符令牌和空白（包括java和c/c++中的说明语句）。
　　　　
　　　　streamtokenizer类的构造器为： streamtokenizer(inputstream in)
　　　　
　　　　该类有一些公有实例变量：ttype、sval和nval ,分别表示令牌类型、当前字符串值和当前数字值。当我们需要取得令牌（即html中的标记）之间的字符时，应访问变量sval。而读向下一个令牌的方法是调用nexttoken（）。方法nexttoken()的返回值是int型，共有四种可能的返回：
　　　　
　　　　streamtokenizer.tt_number: 表示读到的令牌是数字，数字的值是double型，可以从实例变量nval中读取。
　　　　
　　　　streamtokenizer.tt_word: 表示读到的令牌是非数字的单词（其他字符也在其中），单词可以从实例变量sval中读取。
　　　　
　　　　streamtokenizer.tt_eol: 表示读到的令牌是行结束符。
　　　　
　　　　如果已读到流的尽头，则nexttoken()返回tt_eof。
　　　　
　　　　开始调用nexttoken()之前，要设置输入流的语法表，以便使分析器辨识不同的字符。whitespacechars(int low, int hi)方法定义没有意义的字符的范围。wordchars(int low, int hi)方法定义构造单词的字符范围。
　　　　
　　　　三、程序实现
　　　　
　　　　1、htmltokenizer类的实现
　　　　
　　　　对某个令牌流进行分析之前，首先应对该令牌流的语法表进行设置，在本例中，即是让程序分出哪个单词是html的标记。下面给出针对我们需要的html标记的令牌流类定义，它是streamtokenizer的子类：
　　　　
　　　　
　　　　import java.io.*;
　　　　import java.lang.string;
　　　　class htmltokenizer extends
　　　　streamtokenizer {
　　　　//定义各标记，这里的标记仅是本例中必须的，
　　　　可根据需要自行扩充
　　　　 static int html_text=-1;
　　　　 static int html_unknown=-2;
　　　　 static int html_eof=-3;
　　　　 static int html_image=-4;
　　　　 static int html_frame=-5;
　　　　 static int html_background=-6;
　　　　 static int html_applet=-7;
　　　　
　　　　boolean outsidetag=true; //判断是否在标记之中
　　　　
　　　　 //构造器，定义该令牌流的语法表。
　　　　 public htmltokenizer(bufferedreader r) {
　　　　super(r);
　　　　this.resetsyntax(); //重置语法表
　　　　this.wordchars(0,255); //令牌范围为全部字符
　　　　this.ordinarychar('< '); //html标记两边的分割符
　　　　this.ordinarychar('>');
　　　　 } //end of constructor
　　　　
　　　　 public int nexthtml(){
　　　　int token; //令牌
　　　　try{
　　　　switch(token=this.nexttoken()){
　　　　case streamtokenizer.tt_eof:
　　　　//如果已读到流的尽头，则返回tt_eof
　　　　return html_eof;
　　　　case '< ': //进入标记字段
　　　　outsidetag=false;
　　　　return nexthtml();
　　　　case '>': //出标记字段
　　　　outsidetag=true;
　　　　return nexthtml();
　　　　case streamtokenizer.tt_word:
　　　　//若当前令牌为单词，判断是哪个标记
　　　　if (allwhite(sval))
　　　　 return nexthtml(); //过滤其中空格
　　　　else if(sval.touppercase().indexof("frame")
　　　　!=-1 && !outsidetag) //标记frame
　　　　 return html_frame;
　　　　else if(sval.touppercase().indexof("img")
　　　　!=-1 && !outsidetag) //标记img
　　　　 return html_image;
　　　　else if(sval.touppercase().indexof("background")
　　　　!=-1 && !outsidetag) //标记background
　　　　 return html_background;
　　　　else if(sval.touppercase().indexof("applet")
　　　　!=-1 && !outsidetag) //标记applet
　　　　 return html_applet;
　　　　default:
　　　　system.out.println ("unknown tag: "+token);
　　　　return html_unknown;
　　　　 } //end of case
　　　　}catch(ioexception e){
　　　　system.out.println("error:"+e.getmessage());}
　　　　return html_unknown;
　　　　 } //end of nexthtml
　　　　
　　　　protected boolean allwhite(string s){//过滤所有空格
　　　　//实现略
　　　　 }// end of allwhite
　　　　
　　　　} //end of class
　　　　
　　　　以上方法在近期项目中测试通过，操作系统为windows nt4，编程工具使用inprise jbuilder3。