https://cloud.tencent.com/developer/information/%E5%AE%89%E5%85%A8%E4%BA%91 https://readhub.cn/topics
这种网站是通过什么技术或者框架实现的呢，一篇文章的核心内容被提取出来，然后展示。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2606 days ago, the information mentioned may be changed or developed.
Supplement 1 · Sep 25, 2019
之前没说清楚，比如某个关键字(双缝干涉实验)，从全网搜索文章，然后返回全网相关文章的一个列表（列表中是文章的核心内容）
Supplement 2 · Sep 25, 2019
https://tech.qq.com/a/20190925/000743.htm 原文链接是这个，百度会直接提取出来，自己拼出一个主要内容，特别 NB。
 |
22daySep 25, 2019
1
一篇文章的核心内容被提取出来，然后展示
从提供的两个站点来看就是显示了标题和一定字数的正文内容，并不能算是提取了核心内容... python 做 web 开发的话可以看看 django 或 pylons 这类框架 |
 |
CRUDSep 25, 2019
2
楼主有没有想过文章发布的时候直接可以输入简介，或者没输入的话读取正文开头前一部分当作简介，并不是读取正文内容生成的..
|
 |
3
遍历 dom 树，然后根据字符密度判断是否是正文
|
2 |
4
看来每隔一段时间就要把我的这个库拿出来晒晒了： https://github.com/polyrabbit/hacker-news-digest/tree/master/page_content_extractor
刚开始的目标是提取 hacker news 上所有新闻的正文，现在已经工作的很好，大部分网站的正文都可以提取。 主要思想是根据各种因素给网页的每个 DOM 打分，最终最高分就最有可能是正文。 |
 |
misaka19000Sep 25, 2019
5
evernote 的浏览器插件就能做到提取文章的正文内容，感觉还挺好的
|
 |
izoabrSep 25, 2019
6
经常只能显示标题，腾讯和阿里云都这破德行，骗 PV 的
|
 |
MaiKurakiSep 25, 2019
7
不就是爬虫吗
|
 |
TimePPTSep 25, 2019
8
正文判断+摘要抽取
|
 |
9
@locbytes 感谢大神，我看看
|
 |
xudSep 25, 2019
10
对于 Web 信息检索来说，可以说是算作网页正文抽取，方法有很多种。一类是基于 Dom 树来做，也可以基于标记窗继续识别，还有基于网页分割技术的，再者就是基于数据挖掘或者机器学习，使用文本分类、聚类这种来实现，有一些比如基于行块分布函数这种也是可以直接对网页正文进行提取。
|
|
11
@CRUD 想做一个不固定网页的抽取。。。
|
|
12
@zdnyp 有具体的框架或者资源吗
|
|
13
@polythene 谢谢大神。。我瞅瞅
|
|
14
嗯，想找个算法 自己做个这样的网站
|
|
15
@izoabr 嗯，我被他们欺骗了。。。所以我也想搞个这样的
|
|
16
@MaiKuraki 有详细的资料吗
|
|
17
@TimePPT 在度娘如何找寻着方面资料呢。。。
|
|
18
@xud 我现在想要白嫖，这种资料一般哪些网站多点或者有相应的框架吗
|
 |
irvinghuaSep 25, 2019
19
python 里面利用深度学习，提取文章摘要，关键词，这种 nlp 库不要太多，如 bert，ernie
|
|
20
嗯好，我看下
|
|
izoabrSep 25, 2019
21
那简单，找几百篇不同类型的文章，然后用 结巴分一下词。
然后用这些词生成一堆静态页出来，记得加 keyword 和 description 哦 甚至更绝的可以用参数传这个词进去现生成，但索引收录时怎么弄就不清楚了。 |
 |
zero0x00Sep 25, 2019
22
goose
|
 |
mrweiweiSep 25, 2019
23
我之前用 node 写过一个类似的应用，文章内容的提取用到了 node-readability 和 phantom 这两个库，效果对大部分网站来说还行，项目地址这里，可以看看 https://github.com/linguowei/micro-note
|
|
24
要是全网搜索相关的文章，提取出主要内容，是不是就很难了
|
|
25
我看看
|
|
TimePPTSep 25, 2019
26
@xiefangzhenz
文章全文判断 LS 有人给到方案了，拿到全文后做摘要生成可以参考下面这篇 《文本摘要简述》 https://www.jiqizhixin.com/articles/2019-03-25-7 类似论文很多，可以搜搜 |
|
zdnypSep 25, 2019
27
@xiefangzhenz newspaper 百度一下有好些
|
 |
itskingnameSep 25, 2019
28
楼主看一下我的这个项目： https://github.com/kingname/GeneralNewsExtractor
|
Select Language