首页 > 技术文章 > 单词统计

MoooJL 2020-06-06 23:09 原文

用户需求:

英语的26个字母的频率在一本小说中是如何分布的?某类型文章中常出现的单词是什么?某作家最常用的词汇是什么?《哈利波特》 中最常用的短语是什么,等等。我们就写一些程序来解决这个问题,满足一下我们的好奇心。

  第0步:输出某个英文文本文件中 26 字母出现的频率,由高到低排列,并显示字母出现的百分比,精确到小数点后面两位。字母频率 = 这个字母出现的次数/(所有A-Z,a-z字母出现的总数)如果两个字母出现的频率一样,那么就按照字典序排列。如果S和T出现频率都是10.21%,那么,S要排在T的前面。

  第1步:输出单个文件中的前N个最常出现的英语单词。作用:一个用于统计文本文件中的英语单词出现频率。单词:以英文字母开头,由英文字母和字母数字符号组成的字符串视为一个单词。单词以分隔符分割且不区分大小写。在输出时,所有单词都用小写字符表示。英文字母:A-Z,a-z字母数字符号:A-Z,a-z,0-9

  第2步:输出单个文件中的前N个最常出现的英语单词。分割符:空格,非字母数字符号 例:good123是一个单词,123good不是一个单词。good,Good和GOOD是同一个单词。

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
//import java.io.Reader;
//从文本文档中读入
public class readFromFile {
    public static String readTxtFile(String filePath){
    try {
        String encoding="GBK";
        File file=new File(filePath);
        if(file.isFile() && file.exists()){ //判断文件是否存在
        InputStreamReader read = new InputStreamReader(
        new FileInputStream(file),encoding);//考虑到编码格式
        BufferedReader bufferedReader = new BufferedReader(read);
        String lineTxt = null;
        String lineText="";
        while((lineTxt = bufferedReader.readLine()) != null)
            {
            lineText+=(lineTxt);
            }
        read.close();
        return lineText;
        }
        else
            {
            System.out.println("找不到指定的文件");
            }
        } catch (Exception e) {
        System.out.println("读取文件内容出错");
        e.printStackTrace();
        }
        return null;
    }
    public static void daochu(String a) throws IOException
    {
        File file=new File("b.txt");
        FileOutputStream fos=new FileOutputStream(file);
        OutputStreamWriter osw = new OutputStreamWriter(fos,"UTF-8");
        osw.append(a);
        osw.close();
        fos.close();
    }
}
readFromFile.java
import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.text.DecimalFormat;
import java.text.NumberFormat;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Scanner;
public class Text {
static int N=5;
public static String StatList(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打开一个哈希表
    String[] slist = str.split("[^a-zA-Z\']+");
    for (int i = 0; i < slist.length; i++)
    {
        if (!has.containsKey(slist[i]))
        {
               has.put(slist[i], 1);
        }
        else
        {
               has.put(slist[i],has.get(slist[i])+1 );
        }
    }
    Iterator<String> iterator = has.keySet().iterator();
    String a[]=new String[100];
    int s[]=new int[100];
    int judge;
    int n;
    Scanner in=new Scanner(System.in);
    System.out.println("输入前n个最常出现的单词:");
    n=in.nextInt();
    for(int i=0;i<n;i++)
    {
        iterator = has.keySet().iterator();
        while(iterator.hasNext())
        {
            String word = (String) iterator.next();
            if(s[i]<has.get(word))
            {
                s[i]=has.get(word);
                a[i]=word;
            }
         }
        judge=woor(a[i]);
        if(judge==1)
        {
            n++;
            has.remove(a[i]);
        }
        else
        {
         sb.append("单词:").append(a[i]).append(" 次数").append(has.get(a[i])).append("\r\n");
         has.remove(a[i]);
        }
    }
         return sb.toString();
    }


    public static void main(String[] args)
    {
        File file = new File("a");
        // TODO Auto-generated method stub
//        ArrayList<String> fil=getFiles("a");//目录下的文件
        ArrayList<String> fil=getDirectory(file);//目录下的文件和子目录里的文件
        for(int i=0;i<fil.size();i++)
        {
        String filePath = fil.get(i);
        String sz=writeFromFile.readTxtFile(filePath);
        zimu(filePath);
        String ltxt=null;
        System.out.println(ltxt=StatList(sz));
        try {
        writeFromFile.daochu(ltxt);
        } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
        }
        }
    }
    public static int woor(String a)
    {
        int n=0;
        String[] biao= {"a","the","an"};
        for(int i=0;i<biao.length;i++)
        {
            if(biao[i].equals(a))
            {
                n=1;
            }
        }
        return n;
    }
    public static ArrayList<String> getFiles(String path) {
        ArrayList<String> files = new ArrayList<String>();
        File file = new File(path);
        File[] tempList = file.listFiles();
        for (int i = 0; i < tempList.length; i++) {
            if (tempList[i].isFile()) {
                files.add(tempList[i].toString());
            }
            if (tempList[i].isDirectory()) {
            }
        }
        return files;
    }
    private static ArrayList<String> getDirectory(File file) {
        ArrayList<String> files = new ArrayList<String>();
        ArrayList<String> files1 = new ArrayList<String>();
        //获取该目录下的文件列表
        File flist[] = file.listFiles();
        for (File f : flist) {
            if (f.isDirectory()) {
                // 如果f是一个目录
                files1=getFiles(f.getAbsolutePath());
                files.addAll(files1);

                getDirectory(f);
            } else {
                //如果f是一个文件
                files.add(f.getAbsolutePath());
            }
        }
        return files;
    }
    public static void zimu(String path)
    {
        try {
            //IO操作读取文件内容
            FileReader fr = new FileReader(path);
            BufferedReader br = new BufferedReader(fr);
            DecimalFormat df = new DecimalFormat("#.00");
            HashMap<String, Integer> map = new HashMap<String, Integer>();

            String string =null;
            Integer count = 0;//每个字母的次数
            Integer total = 0;//总共多少个字母

            try {
                while ((string=br.readLine())!=null) {
                    char[] ch = string.toCharArray();

                    for (int i = 0; i < ch.length; i++) {
                        if (ch[i] > 'A' && ch[i]< 'z') {

                        total++;
                        ch[i] = Character.toLowerCase(ch[i]);
                        count = map.get(ch[i]+"");
                        if (count == null) {
                            count = 1;
                        }else {
                            count++;
                        }
                        map.put(ch[i]+"", count);
                    }
                    }
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
             ArrayList<String> list = new ArrayList<String>();
             list.addAll(map.keySet());  //将单词添加到list中
             NumberFormat numberFormat = NumberFormat.getInstance();

            // 设置精确到小数点后2位

            numberFormat.setMaximumFractionDigits(2);

             //排序按照出现次数降序排列
             for(int i = 0;i < list.size();i++)
             {

                 for(int j = 0;j < (list.size() - i-1);j++)     //list.size() - i-1因为要用到i+1要考虑是否超出范围的问题
                 {

                     if(map.get(list.get(j)) < map.get(list.get(j+1)))
                     {
                         String t = list.get(j);
                         list.set(j, list.get(j+1));
                         list.set( j+1, t);
                     }
                 }
             }
             for(int i = 0 ; i < list.size();i++)
                {

                    System.out.println(list.get(i) + ":" + map.get(list.get(i)) +"   "+ df.format(((float)map.get(list.get(i)))*100/total) + "%");
                }


        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }



}
Text.java

 

 

 

推荐阅读