DocumentSummarization/.ipynb_checkpoints/文本摘要-checkpoint.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import jieba\n",
    "from collections import Counter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Title</th>\n",
       "      <th>Content</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>国羽交流赛：雅思组合隔网交锋 陈雨菲输“性别大战”_郑思维</td>\n",
       "      <td>原标题：国羽交流赛：雅思组合隔网交锋 陈雨菲输“性别大战”。正在四川双流国家羽毛球训练基地集...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>神仙棋：“弃车马炮”叹为观止_ggzero</td>\n",
       "      <td>原标题：神仙棋：“弃车马炮”叹为观止。2020年独醉杯：20集（已更新14集）。2020年旋...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>足坛艳照门！拉维奇因私密视频遭敲诈 每条5000刀_瓦尔布埃纳</td>\n",
       "      <td>原标题：足坛艳照门！拉维奇因私密视频遭敲诈 每条5000刀。在2014年8月份，拉维奇曾经被...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>利物浦KO皇马？曝克洛普曾致电姆巴佩 印象分狂涨_Sport</td>\n",
       "      <td>原标题：利物浦KO皇马？曝克洛普曾致电姆巴佩 印象分狂涨。长久以来，皇马一直是巴黎球星姆巴佩...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>土耳其球员谋杀5岁亲生儿 捂脸致窒息谎称是新冠_儿子</td>\n",
       "      <td>原标题：土耳其球员谋杀5岁亲生儿 捂脸致窒息谎称是新冠。虎毒尚不食子，土耳其球员托克塔斯比虎...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>巴西老乡：内马尔从不是球队领袖 言行难称榜样_拉斐尔</td>\n",
       "      <td>原标题：巴西老乡：内马尔从不是球队领袖 言行难称榜样。内马尔加盟巴黎后并没有展现球队一哥的本...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>大巴黎加入皮亚尼奇争夺战 中场悍将+小德当筹码_巴萨</td>\n",
       "      <td>原标题：大巴黎加入皮亚尼奇争夺战 中场悍将+小德当筹码。最近几天，有关巴萨将会求购尤文中场皮...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>LPL全华班最后的希望？TES开始补强上辅位置，全力冲击夏季赛冠军_战队</td>\n",
       "      <td>原标题：LPL全华班最后的希望？TES开始补强上辅位置，全力冲击夏季赛冠军。（搜狐体育 Pr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>RNG新上单已在训练赛，除圣枪哥外，PDD还送出一位选手_战队</td>\n",
       "      <td>原标题：RNG新上单已在训练赛，除圣枪哥外，PDD还送出一位选手。（搜狐体育 Predwan...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>全国政协委员于欣伟：建议探索电竞、直播等场景下的年龄分层标准_保护</td>\n",
       "      <td>原标题：全国政协委员于欣伟：建议探索电竞、直播等场景下的年龄分层标准。全国两会召开在即，5月...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>谁才是LPL最佳韩援选手，两届S赛冠军强强争夺，EDG冠军中单上榜_Rookie</td>\n",
       "      <td>原标题：谁才是LPL最佳韩援选手，两届S赛冠军强强争夺，EDG冠军中单上榜。（搜狐体育 Pr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>LGD为何经济滚得那么快？连冠军教练都感到不可思议，直言没看懂_QGhappy</td>\n",
       "      <td>原标题：LGD为何经济滚得那么快？连冠军教练都感到不可思议，直言没看懂。（搜狐体育 Pred...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>为了流量满嘴胡言？前LGD辅助PYL反驳TBQ：你在胡说些什么啊？_韦神</td>\n",
       "      <td>原标题：为了流量满嘴胡言？前LGD辅助PYL反驳TBQ：你在胡说些什么啊？。（搜狐体育 Pr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>Newbee假赛海外反应：北美老怼早就知道消息_Faith</td>\n",
       "      <td>原标题：Newbee假赛海外反应：北美老怼早就知道消息。Newbee涉嫌打假赛的新闻已经曝出...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>无限火力官方评级出炉，接近满分的游戏中却根本见不到？_英雄联盟</td>\n",
       "      <td>原标题：无限火力官方评级出炉，接近满分的游戏中却根本见不到？。作为英雄联盟可遇而不可求的盛事...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>11场0球！巴黎兜售德拉克斯勒 多特有意PK莱比锡_德国</td>\n",
       "      <td>原标题：11场0球！巴黎兜售德拉克斯勒 多特有意PK莱比锡。2017年的联合会杯，德国二队轻...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>转会专家：阿圭罗成国米最新目标 追卡瓦尼存1优势_军团</td>\n",
       "      <td>原标题：转会专家：阿圭罗成国米最新目标 追卡瓦尼存1优势。在劳塔罗-马丁内斯与巴塞罗那的绯闻...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>2020英雄联盟季中杯赛程公布 揭幕战FPX将对战T1_较量</td>\n",
       "      <td>原标题：2020英雄联盟季中杯赛程公布 揭幕战FPX将对战T1。北京时间5月21日，英雄联盟...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>尤文队长：姆巴佩比内马尔更加出色 未来属于他 _基耶利尼</td>\n",
       "      <td>原标题：尤文队长：姆巴佩比内马尔更加出色 未来属于他。尤文队长基耶利尼上周发布了自传，他自传...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>内马尔为回诺坎普愿降薪1500万 但巴萨已基本放弃_弗洛伦蒂诺</td>\n",
       "      <td>原标题：内马尔为回诺坎普愿降薪1500万 但巴萨已基本放弃。在今年夏天，内马尔的目标是回到诺...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>盘点刀圈在假赛案例：Newbee被国内两大赛事主办方禁赛_Solo</td>\n",
       "      <td>原标题：盘点刀圈在假赛案例：Newbee被国内两大赛事主办方禁赛。在解散的传言还未完全散去时...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>桃田向抗疫医生捐款500万 去年奖金10%上缴日羽协_田贤斗</td>\n",
       "      <td>原标题：桃田向抗疫医生捐款500万 去年奖金10%上缴日羽协。据日媒5月18日最新消息，羽毛...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>LPGA合并2020年和21年赛季资格排名 取消梅杰尔赛_比赛</td>\n",
       "      <td>原标题：LPGA合并2020年和21年赛季资格排名 取消梅杰尔赛。北京时间5月21日，为保证...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>国象国家杯开启第二循环 中国队连胜继续领跑积分榜_联队</td>\n",
       "      <td>原标题：国象国家杯开启第二循环 中国队连胜继续领跑积分榜。中国国际象棋协会消息，2020国际...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>自信！国足02世界杯对手：我比梅西C罗内马尔都强_迪尔森</td>\n",
       "      <td>原标题：自信！国足02世界杯对手：我比梅西C罗内马尔都强。在足球史上，梅西是最出色的全能攻击...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>科普卡 大满贯赛的最大变数_伍兹</td>\n",
       "      <td>原标题：科普卡 大满贯赛的最大变数。本文首发于《GOLF·峰荟》。在21世纪头十年，你若是问...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>冠军慈善赛玩出新花样 虎米大战或增加一支杆挑战_杆洞</td>\n",
       "      <td>原标题：冠军慈善赛玩出新花样 虎米大战或增加一支杆挑战。北京时间5月20日，本周日，泰格-伍...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>“中国一哥”李昊桐休赛期不忘备战 无比想念比赛_高尔夫</td>\n",
       "      <td>原标题：“中国一哥”李昊桐休赛期不忘备战 无比想念比赛。首位入选总统杯参赛阵容的中国大陆高尔...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>四大天后将战LPGA线上赛 朴仁妃：想念比赛的感觉_疫情</td>\n",
       "      <td>原标题：四大天后将战LPGA线上赛 朴仁妃：想念比赛的感觉。虽然新冠肺炎疫情尚未完全消退，各...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>小麦DJ慈善赛电视直播收视超去年世界比洞赛决赛轮_比赛</td>\n",
       "      <td>原标题：小麦DJ慈善赛电视直播收视超去年世界比洞赛决赛轮。北京时间5月19日，据NBC体育频...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>945</th>\n",
       "      <td>征调预备队球员储备人才，天津男篮静候联赛重启_虎扑CBA新闻</td>\n",
       "      <td>虎扑5月23日讯?为了更好地发掘储备人才，天津男篮从预备队和青年队征调球员补充阵容。从结束五...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>946</th>\n",
       "      <td>新疆男篮讣告：对马连保教练的离世表示沉痛哀悼_虎扑CBA新闻</td>\n",
       "      <td>虎扑5月24日讯?据此前消息，新疆男篮教练组成员、知名篮球教练员马连保因心梗离世，新疆男篮官...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>947</th>\n",
       "      <td>北京男篮祝朱彦西生日快乐：奔跑吧，骄傲的少年_虎扑CBA新闻</td>\n",
       "      <td>虎扑5月25日讯?今天是北京男篮队员朱彦西的30岁生日，球队官方晒视频为其庆生。北京男篮写道...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>948</th>\n",
       "      <td>夏晓司：各球队正在核酸检测，队员至少测3次方能参赛_虎扑CBA新闻</td>\n",
       "      <td>虎扑5月24日讯?据篮球记者夏晓司消息，CBA球队最近正在进行核酸检测，每名队员至少要进行3...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>949</th>\n",
       "      <td>激励高考学子！王少杰：凭录取通知兑换门票_虎扑CBA新闻</td>\n",
       "      <td>虎扑5月25日讯?昨日，北控男篮内线王少杰在与网友的互动中激励高考学子，为高考生送出比赛门票...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>950</th>\n",
       "      <td>一图缅怀马连保教练！愿天堂也有他喜爱的篮球_虎扑CBA新闻</td>\n",
       "      <td>虎扑5月24日讯?今日，据多方消息源报道，前八一教练、现新疆教练组成员马连保突发心梗去世。。...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>951</th>\n",
       "      <td>辽足宣布告别职业联赛:深表遗憾和歉意 相信自有后来者_足球俱乐部</td>\n",
       "      <td>原标题：辽足宣布告别职业联赛:深表遗憾和歉意 相信自有后来者。昨天，中国足协公布了一份因为无...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>952</th>\n",
       "      <td>辽足死于欠薪解散值得深思 沈阳队成重点扶持对象_中国足协</td>\n",
       "      <td>原标题：辽足死于欠薪解散值得深思 沈阳队成重点扶持对象。文章来源：北京青年报。大限已至，辽足...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>953</th>\n",
       "      <td>四川优必选新帅正遴选中 或有曼城体系教练加盟_李虹</td>\n",
       "      <td>原标题：四川优必选新帅正遴选中 或有曼城体系教练加盟。文章来源：成都商报。5月23日中午，中...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>954</th>\n",
       "      <td>中新网评辽足：没有挣扎也没有眼泪 十冠王默默死去_职业化</td>\n",
       "      <td>原标题：中新网评辽足：没有挣扎也没有眼泪 十冠王默默死去。文章来源：中国新闻网。中新网客户端...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>955</th>\n",
       "      <td>辽足因卖人加速了球队消亡 解散前一直在给球员画大饼_中国足协</td>\n",
       "      <td>原标题：辽足因卖人加速了球队消亡 解散前一直在给球员画大饼。文章来源：齐鲁晚报。5月23日,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>956</th>\n",
       "      <td>中甲新军宣布前恒大后腰加盟 等待窗口开启完成手续_四川队</td>\n",
       "      <td>原标题：中甲新军宣布前恒大后腰加盟 等待窗口开启完成手续。5月25日，四川队官方宣布，正式与...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>957</th>\n",
       "      <td>卓尔董事长：总书记主动问到卓尔足球队情况 表扬踢得不错_武汉</td>\n",
       "      <td>原标题：卓尔董事长：总书记主动问到卓尔足球队情况 表扬踢得不错。日前，卓尔董事长在网上分享个...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>958</th>\n",
       "      <td>回顾辽足67年历史：夺亚俱杯辉煌 如今令人唏嘘_辽宁</td>\n",
       "      <td>原标题：回顾辽足67年历史：夺亚俱杯辉煌 如今令人唏嘘。 中国足协5月23日公布了2020赛...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>959</th>\n",
       "      <td>申鑫暂时解散俱乐部继续存在 困难解决时还会重出江湖_上海</td>\n",
       "      <td>原标题：申鑫暂时解散俱乐部继续存在 困难解决时还会重出江湖。文章来源：新民晚报。图说：申鑫球...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>960</th>\n",
       "      <td>辽足退出始末：2019全年没发工资 仅发2场承诺的1/2奖金_欠税</td>\n",
       "      <td>原标题：辽足退出始末：2019全年没发工资 仅发2场承诺的1/2奖金。澎湃新闻特约撰稿 延长...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>961</th>\n",
       "      <td>新赛季两支川足同在中甲战斗 优必选恐将全华班开局_中国足协</td>\n",
       "      <td>原标题：新赛季两支川足同在中甲战斗 优必选恐将全华班开局。5月23日中午，中国足协在官网宣布...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>962</th>\n",
       "      <td>女足集训热身赛模拟中韩“生死战” 国脚称收获大_中国女足</td>\n",
       "      <td>原标题：女足集训热身赛模拟中韩“生死战” 国脚称收获大。5月24日,中国女足举行公开训练课，...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>963</th>\n",
       "      <td>贾秀全:王霜不是最好状态 承前启后将女足带上正轨_中国女足</td>\n",
       "      <td>原标题：贾秀全:王霜不是最好状态 承前启后将女足带上正轨。5月24日，中国女足举行公开训练课...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>964</th>\n",
       "      <td>贾秀全重点观察女足边后卫 满意武汉地区球员表现_中国女足</td>\n",
       "      <td>原标题：贾秀全重点观察女足边后卫 满意武汉地区球员表现。中国女足集训继续在上海进行。主教练贾...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>965</th>\n",
       "      <td>中国女篮集结姚明送礼！12金花兴奋异常，许利民：男篮没这待遇！_球迷</td>\n",
       "      <td>原标题：中国女篮集结姚明送礼！12金花兴奋异常，许利民：男篮没这待遇！。前段时间，中国女篮为...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>966</th>\n",
       "      <td>辽足队长凌晨0点发文告别！17天前曾求助白岩松：球员不如农民工_赛季</td>\n",
       "      <td>原标题：辽足队长凌晨0点发文告别！17天前曾求助白岩松：球员不如农民工。北京时间5月25日凌...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>967</th>\n",
       "      <td>中国女篮动态！李梦被赞大美女 王思雨晒男友 韩旭驾考分数出炉 _球迷</td>\n",
       "      <td>原标题：中国女篮动态！李梦被赞大美女 王思雨晒男友 韩旭驾考分数出炉。中国女篮在今年年初给球...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>968</th>\n",
       "      <td>想不到！2场比赛结果使人有喜有忧：原来中国女足真的比男足要强_奥运会</td>\n",
       "      <td>原标题：想不到！2场比赛结果使人有喜有忧：原来中国女足真的比男足要强。2020奥预赛，咱男足...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>969</th>\n",
       "      <td>好消息！大佬发话 孙杨如果做到这点 或能缩短禁赛期_上诉</td>\n",
       "      <td>原标题：好消息！大佬发话 孙杨如果做到这点 或能缩短禁赛期。文章来源：上观新闻。距离孙杨向瑞...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>970</th>\n",
       "      <td>孙杨再收坏消息！若上诉成功也非最终结果，参加东京奥运需过3关！_游泳</td>\n",
       "      <td>原标题：孙杨再收坏消息！若上诉成功也非最终结果，参加东京奥运需过3关！。北京时间5月23日，...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>971</th>\n",
       "      <td>名记调侃宁泽涛：禁止其他运动员商业代言，建议取消国外足球所有转播_贺晓龙</td>\n",
       "      <td>原标题：名记调侃宁泽涛：禁止其他运动员商业代言，建议取消国外足球所有转播。北京时间5月24日...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>972</th>\n",
       "      <td>冬奥冠军自曝上任WADA副掌门原因！至今无视网友质问孙杨事件_工作</td>\n",
       "      <td>原标题：冬奥冠军自曝上任WADA副掌门原因！至今无视网友质问孙杨事件。说起大杨扬，绝对是中国...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>973</th>\n",
       "      <td>孙杨被罚第84天，中国游泳另一巨星获顶级代言，网友：实至名归！_刘湘</td>\n",
       "      <td>原标题：孙杨被罚第84天，中国游泳另一巨星获顶级代言，网友：实至名归！。北京时间5月22日消...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>974</th>\n",
       "      <td>NBA球星游泳都啥样？邓肯把泳池变浴缸，2米31巨人在泳池如水怪_法尔</td>\n",
       "      <td>原标题：NBA球星游泳都啥样？邓肯把泳池变浴缸，2米31巨人在泳池如水怪。可能很多球迷会羡慕...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>975 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                        Title  \\\n",
       "0               国羽交流赛：雅思组合隔网交锋 陈雨菲输“性别大战”_郑思维   \n",
       "1                       神仙棋：“弃车马炮”叹为观止_ggzero   \n",
       "2             足坛艳照门！拉维奇因私密视频遭敲诈 每条5000刀_瓦尔布埃纳   \n",
       "3              利物浦KO皇马？曝克洛普曾致电姆巴佩 印象分狂涨_Sport   \n",
       "4                  土耳其球员谋杀5岁亲生儿 捂脸致窒息谎称是新冠_儿子   \n",
       "5                  巴西老乡：内马尔从不是球队领袖 言行难称榜样_拉斐尔   \n",
       "6                  大巴黎加入皮亚尼奇争夺战 中场悍将+小德当筹码_巴萨   \n",
       "7        LPL全华班最后的希望？TES开始补强上辅位置，全力冲击夏季赛冠军_战队   \n",
       "8             RNG新上单已在训练赛，除圣枪哥外，PDD还送出一位选手_战队   \n",
       "9           全国政协委员于欣伟：建议探索电竞、直播等场景下的年龄分层标准_保护   \n",
       "10   谁才是LPL最佳韩援选手，两届S赛冠军强强争夺，EDG冠军中单上榜_Rookie   \n",
       "11    LGD为何经济滚得那么快？连冠军教练都感到不可思议，直言没看懂_QGhappy   \n",
       "12       为了流量满嘴胡言？前LGD辅助PYL反驳TBQ：你在胡说些什么啊？_韦神   \n",
       "13              Newbee假赛海外反应：北美老怼早就知道消息_Faith   \n",
       "14            无限火力官方评级出炉，接近满分的游戏中却根本见不到？_英雄联盟   \n",
       "15               11场0球！巴黎兜售德拉克斯勒 多特有意PK莱比锡_德国   \n",
       "16                转会专家：阿圭罗成国米最新目标 追卡瓦尼存1优势_军团   \n",
       "17             2020英雄联盟季中杯赛程公布 揭幕战FPX将对战T1_较量   \n",
       "18               尤文队长：姆巴佩比内马尔更加出色 未来属于他 _基耶利尼   \n",
       "19            内马尔为回诺坎普愿降薪1500万 但巴萨已基本放弃_弗洛伦蒂诺   \n",
       "20          盘点刀圈在假赛案例：Newbee被国内两大赛事主办方禁赛_Solo   \n",
       "21             桃田向抗疫医生捐款500万 去年奖金10%上缴日羽协_田贤斗   \n",
       "22            LPGA合并2020年和21年赛季资格排名 取消梅杰尔赛_比赛   \n",
       "23                国象国家杯开启第二循环 中国队连胜继续领跑积分榜_联队   \n",
       "24               自信！国足02世界杯对手：我比梅西C罗内马尔都强_迪尔森   \n",
       "25                           科普卡 大满贯赛的最大变数_伍兹   \n",
       "26                 冠军慈善赛玩出新花样 虎米大战或增加一支杆挑战_杆洞   \n",
       "27                “中国一哥”李昊桐休赛期不忘备战 无比想念比赛_高尔夫   \n",
       "28               四大天后将战LPGA线上赛 朴仁妃：想念比赛的感觉_疫情   \n",
       "29                小麦DJ慈善赛电视直播收视超去年世界比洞赛决赛轮_比赛   \n",
       "..                                        ...   \n",
       "945            征调预备队球员储备人才，天津男篮静候联赛重启_虎扑CBA新闻   \n",
       "946            新疆男篮讣告：对马连保教练的离世表示沉痛哀悼_虎扑CBA新闻   \n",
       "947            北京男篮祝朱彦西生日快乐：奔跑吧，骄傲的少年_虎扑CBA新闻   \n",
       "948         夏晓司：各球队正在核酸检测，队员至少测3次方能参赛_虎扑CBA新闻   \n",
       "949              激励高考学子！王少杰：凭录取通知兑换门票_虎扑CBA新闻   \n",
       "950             一图缅怀马连保教练！愿天堂也有他喜爱的篮球_虎扑CBA新闻   \n",
       "951          辽足宣布告别职业联赛:深表遗憾和歉意 相信自有后来者_足球俱乐部   \n",
       "952              辽足死于欠薪解散值得深思 沈阳队成重点扶持对象_中国足协   \n",
       "953                 四川优必选新帅正遴选中 或有曼城体系教练加盟_李虹   \n",
       "954              中新网评辽足：没有挣扎也没有眼泪 十冠王默默死去_职业化   \n",
       "955            辽足因卖人加速了球队消亡 解散前一直在给球员画大饼_中国足协   \n",
       "956              中甲新军宣布前恒大后腰加盟 等待窗口开启完成手续_四川队   \n",
       "957            卓尔董事长：总书记主动问到卓尔足球队情况 表扬踢得不错_武汉   \n",
       "958                回顾辽足67年历史：夺亚俱杯辉煌 如今令人唏嘘_辽宁   \n",
       "959              申鑫暂时解散俱乐部继续存在 困难解决时还会重出江湖_上海   \n",
       "960         辽足退出始末：2019全年没发工资 仅发2场承诺的1/2奖金_欠税   \n",
       "961             新赛季两支川足同在中甲战斗 优必选恐将全华班开局_中国足协   \n",
       "962              女足集训热身赛模拟中韩“生死战” 国脚称收获大_中国女足   \n",
       "963             贾秀全:王霜不是最好状态 承前启后将女足带上正轨_中国女足   \n",
       "964              贾秀全重点观察女足边后卫 满意武汉地区球员表现_中国女足   \n",
       "965        中国女篮集结姚明送礼！12金花兴奋异常，许利民：男篮没这待遇！_球迷   \n",
       "966        辽足队长凌晨0点发文告别！17天前曾求助白岩松：球员不如农民工_赛季   \n",
       "967        中国女篮动态！李梦被赞大美女 王思雨晒男友 韩旭驾考分数出炉 _球迷   \n",
       "968        想不到！2场比赛结果使人有喜有忧：原来中国女足真的比男足要强_奥运会   \n",
       "969              好消息！大佬发话 孙杨如果做到这点 或能缩短禁赛期_上诉   \n",
       "970        孙杨再收坏消息！若上诉成功也非最终结果，参加东京奥运需过3关！_游泳   \n",
       "971      名记调侃宁泽涛：禁止其他运动员商业代言，建议取消国外足球所有转播_贺晓龙   \n",
       "972         冬奥冠军自曝上任WADA副掌门原因！至今无视网友质问孙杨事件_工作   \n",
       "973        孙杨被罚第84天，中国游泳另一巨星获顶级代言，网友：实至名归！_刘湘   \n",
       "974       NBA球星游泳都啥样？邓肯把泳池变浴缸，2米31巨人在泳池如水怪_法尔   \n",
       "\n",
       "                                               Content  \n",
       "0    原标题：国羽交流赛：雅思组合隔网交锋 陈雨菲输“性别大战”。正在四川双流国家羽毛球训练基地集...  \n",
       "1    原标题：神仙棋：“弃车马炮”叹为观止。2020年独醉杯：20集（已更新14集）。2020年旋...  \n",
       "2    原标题：足坛艳照门！拉维奇因私密视频遭敲诈 每条5000刀。在2014年8月份，拉维奇曾经被...  \n",
       "3    原标题：利物浦KO皇马？曝克洛普曾致电姆巴佩 印象分狂涨。长久以来，皇马一直是巴黎球星姆巴佩...  \n",
       "4    原标题：土耳其球员谋杀5岁亲生儿 捂脸致窒息谎称是新冠。虎毒尚不食子，土耳其球员托克塔斯比虎...  \n",
       "5    原标题：巴西老乡：内马尔从不是球队领袖 言行难称榜样。内马尔加盟巴黎后并没有展现球队一哥的本...  \n",
       "6    原标题：大巴黎加入皮亚尼奇争夺战 中场悍将+小德当筹码。最近几天，有关巴萨将会求购尤文中场皮...  \n",
       "7    原标题：LPL全华班最后的希望？TES开始补强上辅位置，全力冲击夏季赛冠军。（搜狐体育 Pr...  \n",
       "8    原标题：RNG新上单已在训练赛，除圣枪哥外，PDD还送出一位选手。（搜狐体育 Predwan...  \n",
       "9    原标题：全国政协委员于欣伟：建议探索电竞、直播等场景下的年龄分层标准。全国两会召开在即，5月...  \n",
       "10   原标题：谁才是LPL最佳韩援选手，两届S赛冠军强强争夺，EDG冠军中单上榜。（搜狐体育 Pr...  \n",
       "11   原标题：LGD为何经济滚得那么快？连冠军教练都感到不可思议，直言没看懂。（搜狐体育 Pred...  \n",
       "12   原标题：为了流量满嘴胡言？前LGD辅助PYL反驳TBQ：你在胡说些什么啊？。（搜狐体育 Pr...  \n",
       "13   原标题：Newbee假赛海外反应：北美老怼早就知道消息。Newbee涉嫌打假赛的新闻已经曝出...  \n",
       "14   原标题：无限火力官方评级出炉，接近满分的游戏中却根本见不到？。作为英雄联盟可遇而不可求的盛事...  \n",
       "15   原标题：11场0球！巴黎兜售德拉克斯勒 多特有意PK莱比锡。2017年的联合会杯，德国二队轻...  \n",
       "16   原标题：转会专家：阿圭罗成国米最新目标 追卡瓦尼存1优势。在劳塔罗-马丁内斯与巴塞罗那的绯闻...  \n",
       "17   原标题：2020英雄联盟季中杯赛程公布 揭幕战FPX将对战T1。北京时间5月21日，英雄联盟...  \n",
       "18   原标题：尤文队长：姆巴佩比内马尔更加出色 未来属于他。尤文队长基耶利尼上周发布了自传，他自传...  \n",
       "19   原标题：内马尔为回诺坎普愿降薪1500万 但巴萨已基本放弃。在今年夏天，内马尔的目标是回到诺...  \n",
       "20   原标题：盘点刀圈在假赛案例：Newbee被国内两大赛事主办方禁赛。在解散的传言还未完全散去时...  \n",
       "21   原标题：桃田向抗疫医生捐款500万 去年奖金10%上缴日羽协。据日媒5月18日最新消息，羽毛...  \n",
       "22   原标题：LPGA合并2020年和21年赛季资格排名 取消梅杰尔赛。北京时间5月21日，为保证...  \n",
       "23   原标题：国象国家杯开启第二循环 中国队连胜继续领跑积分榜。中国国际象棋协会消息，2020国际...  \n",
       "24   原标题：自信！国足02世界杯对手：我比梅西C罗内马尔都强。在足球史上，梅西是最出色的全能攻击...  \n",
       "25   原标题：科普卡 大满贯赛的最大变数。本文首发于《GOLF·峰荟》。在21世纪头十年，你若是问...  \n",
       "26   原标题：冠军慈善赛玩出新花样 虎米大战或增加一支杆挑战。北京时间5月20日，本周日，泰格-伍...  \n",
       "27   原标题：“中国一哥”李昊桐休赛期不忘备战 无比想念比赛。首位入选总统杯参赛阵容的中国大陆高尔...  \n",
       "28   原标题：四大天后将战LPGA线上赛 朴仁妃：想念比赛的感觉。虽然新冠肺炎疫情尚未完全消退，各...  \n",
       "29   原标题：小麦DJ慈善赛电视直播收视超去年世界比洞赛决赛轮。北京时间5月19日，据NBC体育频...  \n",
       "..                                                 ...  \n",
       "945  虎扑5月23日讯?为了更好地发掘储备人才，天津男篮从预备队和青年队征调球员补充阵容。从结束五...  \n",
       "946  虎扑5月24日讯?据此前消息，新疆男篮教练组成员、知名篮球教练员马连保因心梗离世，新疆男篮官...  \n",
       "947  虎扑5月25日讯?今天是北京男篮队员朱彦西的30岁生日，球队官方晒视频为其庆生。北京男篮写道...  \n",
       "948  虎扑5月24日讯?据篮球记者夏晓司消息，CBA球队最近正在进行核酸检测，每名队员至少要进行3...  \n",
       "949  虎扑5月25日讯?昨日，北控男篮内线王少杰在与网友的互动中激励高考学子，为高考生送出比赛门票...  \n",
       "950  虎扑5月24日讯?今日，据多方消息源报道，前八一教练、现新疆教练组成员马连保突发心梗去世。。...  \n",
       "951  原标题：辽足宣布告别职业联赛:深表遗憾和歉意 相信自有后来者。昨天，中国足协公布了一份因为无...  \n",
       "952  原标题：辽足死于欠薪解散值得深思 沈阳队成重点扶持对象。文章来源：北京青年报。大限已至，辽足...  \n",
       "953  原标题：四川优必选新帅正遴选中 或有曼城体系教练加盟。文章来源：成都商报。5月23日中午，中...  \n",
       "954  原标题：中新网评辽足：没有挣扎也没有眼泪 十冠王默默死去。文章来源：中国新闻网。中新网客户端...  \n",
       "955  原标题：辽足因卖人加速了球队消亡 解散前一直在给球员画大饼。文章来源：齐鲁晚报。5月23日,...  \n",
       "956  原标题：中甲新军宣布前恒大后腰加盟 等待窗口开启完成手续。5月25日，四川队官方宣布，正式与...  \n",
       "957  原标题：卓尔董事长：总书记主动问到卓尔足球队情况 表扬踢得不错。日前，卓尔董事长在网上分享个...  \n",
       "958  原标题：回顾辽足67年历史：夺亚俱杯辉煌 如今令人唏嘘。 中国足协5月23日公布了2020赛...  \n",
       "959  原标题：申鑫暂时解散俱乐部继续存在 困难解决时还会重出江湖。文章来源：新民晚报。图说：申鑫球...  \n",
       "960  原标题：辽足退出始末：2019全年没发工资 仅发2场承诺的1/2奖金。澎湃新闻特约撰稿 延长...  \n",
       "961  原标题：新赛季两支川足同在中甲战斗 优必选恐将全华班开局。5月23日中午，中国足协在官网宣布...  \n",
       "962  原标题：女足集训热身赛模拟中韩“生死战” 国脚称收获大。5月24日,中国女足举行公开训练课，...  \n",
       "963  原标题：贾秀全:王霜不是最好状态 承前启后将女足带上正轨。5月24日，中国女足举行公开训练课...  \n",
       "964  原标题：贾秀全重点观察女足边后卫 满意武汉地区球员表现。中国女足集训继续在上海进行。主教练贾...  \n",
       "965  原标题：中国女篮集结姚明送礼！12金花兴奋异常，许利民：男篮没这待遇！。前段时间，中国女篮为...  \n",
       "966  原标题：辽足队长凌晨0点发文告别！17天前曾求助白岩松：球员不如农民工。北京时间5月25日凌...  \n",
       "967  原标题：中国女篮动态！李梦被赞大美女 王思雨晒男友 韩旭驾考分数出炉。中国女篮在今年年初给球...  \n",
       "968  原标题：想不到！2场比赛结果使人有喜有忧：原来中国女足真的比男足要强。2020奥预赛，咱男足...  \n",
       "969  原标题：好消息！大佬发话 孙杨如果做到这点 或能缩短禁赛期。文章来源：上观新闻。距离孙杨向瑞...  \n",
       "970  原标题：孙杨再收坏消息！若上诉成功也非最终结果，参加东京奥运需过3关！。北京时间5月23日，...  \n",
       "971  原标题：名记调侃宁泽涛：禁止其他运动员商业代言，建议取消国外足球所有转播。北京时间5月24日...  \n",
       "972  原标题：冬奥冠军自曝上任WADA副掌门原因！至今无视网友质问孙杨事件。说起大杨扬，绝对是中国...  \n",
       "973  原标题：孙杨被罚第84天，中国游泳另一巨星获顶级代言，网友：实至名归！。北京时间5月22日消...  \n",
       "974  原标题：NBA球星游泳都啥样？邓肯把泳池变浴缸，2米31巨人在泳池如水怪。可能很多球迷会羡慕...  \n",
       "\n",
       "[975 rows x 2 columns]"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data = pd.read_csv('sports.csv', encoding='utf-8')\n",
    "\n",
    "data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(data.shape)\n",
    "\n",
    "cutwordslist = []\n",
    "\n",
    "for i in range(1, data.shape[0]):\n",
    "    line = data.loc[i, 'Content']\n",
    "    cutwordslist += [word for word in jieba.cut_for_search(line, cut_all=False)]\n",
    "cutwords = dict(Counter(cutwordslist))\n",
    "\n",
    "print(len(cutwords))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "outputwords_sorted = sorted(cutwords.items(), key= lambda tp : tp[1], reverse=True)[80:2080]\n",
    "\n",
    "outputwords_sorted"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "sentences = []\n",
    "for i in range(1, data.shape[0]):\n",
    "    line = data.loc[i, 'Content']\n",
    "    sentences += line.strip().split('。')\n",
    "\n",
    "sentences"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}