如何用IE从网页提取信息？

easter

现在需要从一个网页提取某些信息写入数据库。 这个网页的格式是固定的， 每次变化的只是某些内容。
搜了一下有个方案是用BHO作扩展，看起来很复杂的样子。

不知哪位大侠有没有什么相对简单的办法？ 谢了先。

nali

如果格式不改变，我用命令 lynx , wget,  或者 curl来处理。你试一下。

肥鱼

windows 平台自带脚本powershell 3.0轻松满足你要求

easter

谢谢楼上两位，我想在ie浏览器加一个按钮，打开网页之后点这个按钮完成操作，不知道是否可以

yolandalinz

为什么我觉得楼主不像IT专业的。。。

zaiyiqi0604

听楼主的意思是属于 网页信息采集吧。。

把具体的网页贴出来。好友你打算怎样写入数据库。

大家的建议也会更准确和详细~

stevenbian

yolandalinz 发表于 2015-1-27 21:57
为什么我觉得楼主不像IT专业的。。。

楼主如果会用程序写数据库的话，搞定网页就是分分钟的事。

tmac831116

这个太简单了，直接.net有现成的库可以读取网页内容

easter

stevenbian 发表于 2015-1-28 10:02
楼主如果会用程序写数据库的话，搞定网页就是分分钟的事。

单独实现是不存在问题的
主要问题还是如果把这些功能加到ie浏览器上没有做过，想知道最简单的方法

easter

yolandalinz 发表于 2015-1-27 21:57
为什么我觉得楼主不像IT专业的。。。

我已经演得很卖力了，你还说不像

easter

还有就是网页的内容是无法通过url直接得到的，只有登陆系统，经过几步操作才能看到动态生成的内容

网页是sap一个portal, 本来直接在网页加一个按钮是最简单的方式。但sap团队很牛，坚持不做任何更改。

stevenbian

easter 发表于 2015-1-28 14:17
还有就是网页的内容是无法通过url直接得到的，只有登陆系统，经过几步操作才能看到动态生成的内容

网页是s ...

你这是曲线救国啊，试试HttpClient
正确的方法是让他们开放RFC给你调用

oed

写个插件应该可以？

黑山老妖

楼主是想游戏作弊做外挂？

fiddler.

easter

黑山老妖 发表于 2015-1-28 15:51
楼主是想游戏作弊做外挂？

fiddler.

想多了 ，跟游戏无关。
就是想在sap开发人员不配合的情况，从sap里面提取点信息打印出来

黑山老妖

fiddler可以帮你抓包。然后你自己用软件解码。

LifesoCool

如果不能登陆你也没法取人家数据库的数据

easter

oed 发表于 2015-1-28 14:54
写个插件应该可以？

你是指ActiveX还是BHO?
默认的安全设置不能运行ActiveX

easter

LifesoCool 发表于 2015-1-28 16:06
如果不能登陆你也没法取人家数据库的数据

登录(人工)是可以的，但不能自动(程序)登录

oed

easter 发表于 2015-1-28 16:07
你是指ActiveX还是BHO?
默认的安全设置不能运行ActiveX

具体我不懂只是猜测应该可以

maXu

easter 发表于 2015-1-27 20:21
谢谢楼上两位，我想在ie浏览器加一个按钮，打开网页之后点这个按钮完成操作，不知道是否可以 ...

javascript

LifesoCool

easter 发表于 2015-1-28 15:09
登录(人工)是可以的，但不能自动(程序)登录

别纠结IE了，用PYTHON或者PHP自己写个自动登陆和抓去内容的脚本就成。网上一搜索一把一把的

easter

LifesoCool 发表于 2015-1-28 16:40
别纠结IE了，用PYTHON或者PHP自己写个自动登陆和抓去内容的脚本就成。网上一搜索一把一把的 ...

自动登录是被禁止的

LifesoCool

easter 发表于 2015-1-28 15:48
自动登录是被禁止的

那就写个手动登陆页面，然后再抓呗

gzrain

easter 发表于 2015-1-28 15:48
自动登录是被禁止的

如果是有captcha或者动态password就比较麻烦了；花时间写ie插件还不如登录后网页另存，写个script parse html就是

如果不是上面的情况，我知道的普通没有复杂javacript就能拿到页面的话可以用mechanize，浏览器都不用打开就可以run script去scrape网页；如果要复杂的javascript操作才能到达页面的话，我们正在研究用CasperJS来scrape

easter

gzrain 发表于 2015-1-28 18:39
如果是有captcha或者动态password就比较麻烦了；花时间写ie插件还不如登录后网页另存，写个script parse  ...

现在发现网页很tricky, 另存为文件或者view source code都找不到要提取的内容

kr2000

easter 发表于 2015-1-29 16:01
现在发现网页很tricky, 另存为文件或者view source code都找不到要提取的内容

...

你用developer tool查看html应该就可以看到你要的内容

如果没有captcha的话，可以用end to end测试工具来模拟用户登陆后再抓取网页内容

鱼羊鲜

太简单了 写一段javascript 保存为书签即可，需要时 点一下就存数据库了。

鱼羊鲜

javascriptfunction(){})()

类似这样的