大家试试这个抓页面特定内容的web应用如何？可以用来抢票，实时监控特定页面部分

This topic created in 5229 days ago, the information mentioned may be changed or developed.

使用jsoup/jquery开发的web应用

http://www.gbin1.com/technology/democenter/20120720jsoupjquerysnatchpage/index.html

可以指定按特定时间间隔抓取页面中指定的元素。效果还不错，大家觉得如何？

页面

Web

特定

17 replies • 1970-01-01 08:00:00 +08:00

people2net

Jul 20, 2012

大家也可以抓新浪首页的滚动消息：

地址：http://weibo.com/
元素：.itemt
间隔：10

bcxx

Jul 20, 2012

啊！好犀利！

楼主你好，楼主再见！

binux

Jul 20, 2012

siteproxy.jsp

没意思。。

people2net

Jul 20, 2012

一个简单的实现，大家可以完善

dongbeta

Jul 20, 2012

... JAVA 节点 ...

cxh116

Jul 20, 2012

本地运行就没有啥意思了如果运行在服务器到时还不错
js解析是个大问题,直接运行个浏览器机子的配置要强不过估计并发还是上不去

manhere

Jul 20, 2012

要抓取的东西没有id怎么办？

chairo

Jul 20, 2012

抓过来没样式没js的有啥用？

BOYPT

Jul 20, 2012

@manhere 这是个java库jsoup解析HTML的例子，使用jquery的选择器语句灵活选择。

Python里面也有个pyquery，完全封装了jquery的操作方式，处理HTML特别方便的。

valianliu

Jul 20, 2012

有个Chrome插件叫Page Monitor我会随便告诉你么。。。。。

muzuiget

Jul 20, 2012

@BOYPT 不是的，抓包发现有个「siteproxy.jsp」用服务器实现跨域取得页面内容，然后扔回浏览器用 JQuery 解析

注定抓不了需要登录的页面了，还不如直接用浏览器扩展脚本搞定，浏览器扩展脚本的xmlHttpRequest 有跨域权限。

csx163

Jul 20, 2012

支持xpath就完美了

BOYPT

Jul 21, 2012

@muzuiget 这也需要抓包么，人家源码里面写着好吧。然后这个页面是文章 http://www.gbin1.com/technology/javautilities/20120720jsoupjquerysnatchpage/ 的例子好吧。

muzuiget

Jul 22, 2012

@BOYPT 一开始没想到会去看源码吧，用 httpfox 监视一下就马上看到结果了。

好吧，确实是服务器解析抓取的内容，因为我瞄了返回的 HTML，看到 html/head 标签以及一大票内容就以为是把目标页面的 HTML 发过来了，而不是仅仅抓取的内容的 HTML。那些多余内容都是广告和统计代码。

CP9

Jul 23, 2012

这个东西怎么用啊？可以用来抓去网站的一些壁纸吗？求使用方法

xingzhi

Jul 24, 2012

请教，在抓取内容时，遇到要ajax加载才能出现的内容怎么办呢

people2net

Jul 24, 2012

那你可以考虑抓加载使用的容器

大家试试这个抓页面特定内容的web应用如何？ 可以用来抢票，实时监控特定页面部分

大家试试这个抓页面特定内容的web应用如何？可以用来抢票，实时监控特定页面部分