本章主要内容是主要是通过pandas模块来进行数据分析。（注：文章只是对天池入门赛课件的学习）
一、学习目标
1、学习使用pandas读取赛题规律
2、分布赛题数据的分布规律
二、数据读取
使用pandas直接读取数据，
import pandas as pd# 读取数据train_df = pd.read_csv('D:/py_project/天池/data/train_set.csv', sep='t')train_df.head()
第一列为数据的label值，第二列为新闻的内容。
三、数据分析
3.1、目标
1）赛题数据中，新闻文本的长度是多少？
2）类别分布是什么样的？什么类别占比比较多
3）字符分布是什么样的？
3.2、句子长度分析
赛题数据中，每行句子的字符使用空格隔开，所以可以通过直接统计单词的个数来得到每个句子的长度。
train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))print(train_df['text_len'].describe())
从图中的统计可以看出，20万条数据的平均长度为907字符，最长的句子为57921字符，最短的只有2字符，长度差别较大。
所以我们导入matplot库来看句子长度的分布，
import matplotlib.pyplot as plt_ = plt.hist(train_df['text_len'], bins=200)plt.xlabel('Text char count')plt.title("Histogram of char count")
从分布图可以看出，句子长度主要分布在20000以下
3.3、类别分布统计
现在统计各类新闻的类别数量，首先做出类别分布图，
_ = plt.hist(train_df['text_len'], bins=200)plt.xlabel('Text char count')plt.title("Histogram of char count")
在数据集中标签的对应的关系如下：{'科技': 0, '股票': 1, '体育': 2, '娱乐': 3, '时政': 4, '社会': 5, '教育': 6, '财经': 7, '家居': 8, '游戏': 9, '房产': 10, '时尚': 11, '彩票': 12, '星座': 13}
从直方图看出，标签分布不均匀，科技类型新闻最多。
3.4、字符分布统计
我们可以通过collections库中的Counter函数来统计词频，
from collections import Counterall_lines = ' '.join(list(train_df['text']))word_count = Counter(all_lines.split(" "))word_count = sorted(word_count.items(), key=lambda d:d[1], reverse=True)print(len(word_count))print(word_count[0])print(word_count[-1])
从统计结果可以看出，总共有6869个字符，其中'3750'这个字符出现最多，有7482224次，而'3133'这个字符出现最少，只有1次。
下面代码统计了不同字符在句子中出现的次数，其中字符3750，字符900和字符648在20w新闻的覆盖率接近99%，很有可能是标点符号。
train_df['text_unique'] = train_df['text'].apply(lambda x: ' '.join(list(set(x.split(' ')))))all_lines = ' '.join(list(train_df['text_unique']))word_count = Counter(all_lines.split(" "))word_count = sorted(word_count.items(), key=lambda d:int(d[1]), reverse = True)print(word_count[0])print(word_count[1])print(word_count[2])
四、结论
通过上述分析过程，我们可以得出结论：
赛题中每个新闻包含的字符个数平均为1000个，还有一些新闻字符较长；赛题中新闻类别分布不均匀，科技类新闻样本量接近4w，星座类新闻样本量不到1k；赛题总共包括7000-8000个字符；每个新闻平均字符个数较多，可能需要截断；由于类别不均衡，会严重影响模型的精度；
