Python实践:提取文章摘要

一、概述


在博客系统的文章列表中,为了更有效地呈现文章内容,从而让读者更有针对性地选择阅读,通常会同时提供文章的标题和摘要。


一篇文章的内容可以是纯文本格式的,但在网络盛行的当今,更多是HTML格式的。无论是哪种格式,摘要 一般都是文章 开头部分 的内容,可以按照指定的 字数 来提取。


二、纯文本摘要


纯文本文档 就是一个长字符串,很容易实现对它的摘要提取:


#!/usr/bin/env python

# -*- coding: utf-8 -*-

"""Get a summary of the TEXT-format document"""

def get_summary(text, count):

   u"""Get the first `count` characters from `text`

       >>> text = u'Welcome 这是一篇关于Python的文章'

       >>> get_summary(text, 12) == u'Welcome 这是一篇'

       True

   """

   assert(isinstance(text, unicode))

   return text[0:count]

if __name__ == '__main__':

   import doctest

   doctest.testmod()


三、HTML摘要


HTML文档 中包含大量标记符(如&lth1&gt、&ltp&gt、&lta&gt等等),这些字符都是标记指令,并且通常是成对出现的,简单的文本截取会破坏HTML的文档结构,进而导致摘要在浏览器中显示不当。


在遵循HTML文档结构的同时,又要对内容进行截取,就需要解析HTML文档。在Python中,可以借助标准库 HTMLParser 来完成。


一个最简单的摘要提取功能,是忽略HTML标记符而只提取标记内部的原生文本。如果您不明白我说的意思,可以看看 博客园 的摘要功能,以下就是类似该功能的Python实现:


#!/usr/bin/env python

# -*- coding: utf-8 -*-

"""Get a raw summary of the HTML-format document"""

from HTMLParser import HTMLParser

class SummaryHTMLParser(HTMLParser):

   """Parse HTML text to get a summary

       >>> text = u'Hi guys:This is a example using SummaryHTMLParser.'

       >>> parser = SummaryHTMLParser(10)

       >>> parser.feed(text)

       >>> parser.get_summary(u'…')

       u'Higuys:Thi…'

   """

   def __init__(self, count):

       HTMLParser.__init__(self)

       self.count = count

       self.summary = u''

   def feed(self, data):

       """Only accept unicode `data`"""

       assert(isinstance(data, unicode))

       HTMLParser.feed(self, data)

   def handle_data(self, data):

       more = self.countlen(self.summary)

       if more > 0:

           # Remove possible whitespaces in `data`

           data_without_whitespace = u''.join(data.split())

           self.summary += data_without_whitespace[0:more]

   def get_summary(self, suffix=u'', wrapper=u'p'):

       return u'{1}{2}{0}>'.format(wrapper, self.summary, suffix)

if __name__ == '__main__':

   import doctest

   doctest.testmod()


========== 更新 ==========


HTMLParser(或者 BeautifulSoup 等等)更适合完成复杂的HTML摘要提取功能,对于上述简单的HTML摘要提取功能,其实有更简洁的实现方案(相比 SummaryHTMLParser 而言):


#!/usr/bin/env python

# -*- coding: utf-8 -*-

"""Get a raw summary of the HTML-format document"""

import re

def get_summary(text, count, suffix=u'', wrapper=u'p'):

   """A simpler implementation (vs `SummaryHTMLParser`).

       >>> text = u'Hi guys:This is a example using SummaryHTMLParser.'

       >>> get_summary(text, 10, u'…')

       u'Higuys:Thi…'

   """

   assert(isinstance(text, unicode))

   summary = re.sub(r'', u'', text) # key difference: use regex

   summary = u''.join(summary.split())[0:count]

   return u'{1}{2}{0}>'.format(wrapper, summary, suffix)

if __name__ == '__main__':

   import doctest

   doctest.testmod()


作者:RussellLuo  

链接:http://www.cnblogs.com/russellluo/p/3372699.html

本站文章均由 HTML5梦工场 编辑从其他媒体精选HTML5相关文章转载,仅供网友学习和交流,如果我们的工作有侵犯到您的权益,请及时联系小编QQ:123464386,我们会在第一时间进行处理!