下载一长篇中文文章。

从文件读取待分析文本。

news = open('gzccnews.txt','r',encoding = 'utf-8')

安装与使用jieba进行中文分词。

pip install jieba

import jieba

list(jieba.lcut(news))

生成词频统计

排序

排除语法型词汇，代词、冠词、连词

输出词频最大TOP20

 

import jiebaf=open('sanwen.txt','r')text=f.read()wordlist=list(jieba.lcut(text))Words={}for i in set(wordlist):    Words[i]=wordlist.count(i)delete_word={
   '中国的', '是','，','。','：','“','”','的','啊','在','了',           '去','与','不','、','也','又','就', '和'}for i in delete_word:    if i in Words:        del Words[i]sort_word = sorted(Words.items(), key= lambda d:d[1], reverse = True)for i in range(10):    print(sort_word[i])

 

运行截图：