文档章节

Htmlunit 使用表示例

诺岚
 诺岚
发布于 2017/08/30 09:14
字数 1812
阅读 37
收藏 1

第一组示例将使用这个简单的html。

<html><head><title>Table sample</title></head><body>
    <table id="table1">
        <tr>
            <th>Number</th>
            <th>Description</th>
        </tr>
        <tr>
            <td>5</td>
            <td>Bicycle</td>
        </tr>
    </table>
</body></html>

此示例显示如何遍历所有行和单元格

HtmlTable table = page.getHtmlElementById("table1");
for (HtmlTableRow row : table.getRows()) {
    System.out.println("Found row");
    for (HtmlTableCell cell : row.getCells()) {
     System.out.println("  Found cell: " + cell.asText());
    }
}

以下示例显示如何按行和列访问特定单元格

WebClient webClient = new WebClient();
HtmlPage page = webClient.getPage("http://foo.com");

HtmlTable table = page.getHtmlElementById("table1");
System.out.println("Cell (1,2)=" + table.getCellAt(1,2));

更复杂的表

下面的例子将使用一个更复杂的表,其中包括表头,页脚和主体部分以及标题

<html><head><title>Table sample</title></head><body>
    <table id="table1">
        <caption>My complex table</caption>
        <thead>
            <tr>
                <th>Number</th>
                <th>Description</th>
            </tr>
        </thead>
        <tfoot>
            <tr>
                <td>7</td>
                <td></td>
            </tr>
        </tfoot>
        <tbody>
            <tr>
                <td>5</td>
                <td>Bicycle</td>
            </tr>
        </tbody>
        <tbody>
            <tr>
                <td>2</td>
                <td>Tricycle</td>
            </tr>
        </tbody>
    </table>
</body></html>

HtmlTableHeader,HtmlTableFooter和HtmlTableBody部分是行的分组。最多可以有一个页眉和一个页脚,但可能有多个主体。它们中的每一个都包含可以通过getRows()访问的行

HtmlTableHeader header = table.getHeader();
List<HtmlTableRow> headerRows = header.getRows();

HtmlTableFooter footer = table.getFooter();
List<HtmlTableRow> footerRows = footer.getRows();

for (HtmlTableBody body : table.getBodies()) {
    List<HtmlTableRow> rows = body.getRows();
   
}

每个表可以可选地具有描述它的字幕元素。

String caption = table.getCaptionText()

使用框架:

示例1

通过使用HtmlPage.getFrames(),可以在<frame>元素或<iframe>元素中获取页面。
假设你有以下页面:

<html>
  <body>
    <iframe src="two.html">
  </body>
</html>

您可以使用以下代码获取two.html的内容:

List<FrameWindow> window = page.getFrames();
HtmlPage pageTwo = (HtmlPage) window.get(0).getEnclosedPage();

示例2

另一个导航API文档以获取类的所需页面的示例:

WebClient client = new WebClient();
HtmlPage mainPage = client.getPage("http://htmlunit.sourceforge.net/apidocs/index.html");

要获取第一帧的页面(左上角),然后单击第六个链接:

HtmlPage packageListPage = (HtmlPage) mainPage.getFrames().get(0).getEnclosedPage();
packageListPage.getAnchors().get(5).click();

要获取名为“packageFrame”的框架的页面(位于左下方),然后单击第二个链接:

HtmlPage pakcagePage = (HtmlPage) mainPage.getFrameByName("packageFrame").getEnclosedPage();
pakcagePage.getAnchors().get(1).click();

要获取名为“classFrame”的框架的页面(右侧):

HtmlPage classPage = (HtmlPage) mainPage.getFrameByName("classFrame").getEnclosedPage();

使用Window

所有页面都包含在WebWindow对象中。这可以是表示实际浏览器窗口的TopLevelWindow,表示<frame>元素的HtmlFrame或表示<iframe>元素的HtmlInlineFrame。

当首次实例化WebClient时,会自动创建TopLevelWindow。您可以将其视为Web浏览器显示的第一个窗口。调用WebClient.getPage(WebWindow,WebRequest)会将新页面加载到此窗口中。

JavaScript open()函数可用于将页面加载到其他窗口中。此功能将自动创建新的WebWindow对象。

WebWindowEvents

如果希望在Windows创建或页面加载时收到通知,则需要通过WebClient.addWebWindowListener(WebWindowListener)方法向WebClient注册WebWindowListener。

当通过JavaScript或WebClient打开窗口时,WebWindowEvent将被触发并传递到WebWindowListener.webWindowOpened(WebWindowEvent)方法中。请注意,事件中的新旧页面将为null,因为此时窗口中没有加载任何内容。如果在创建窗口期间指定了一个URL,则页面将被加载,另一个事件将被触发,如下所述。

当新页面加载到特定的窗口中时,WebWindowEvent将被触发并传递到WebWindowListener.webWindowContentChanged(WebWindowEvent)方法中。

使用JavaScript

介绍

我们得到的一个常见问题是“我如何测试我的JavaScript?”。没有什么真正具体使用JavaScript,它被自动处理。所以,你只需要.getPage(),找到要单击()的元素,然后检查结果。HtmlUnit测试基础中包含复杂JavaScript库的测试,您可以在这里找到它  这对于获取想法是有用的。

通常,你应该wait()或sleep()有一点,因为HtmlUnit可以在从服务器检索到AJAX响应之前完成,请阅读这个FAQ

以下是一些例子:

示例:使用Document.write()

让我们说,我们有一个包含JavaScript的页面,它将动态地将内容写入页面。以下html将动态生成五个文本框,并将它们放在表格中。每个文本框都将通过将索引附加到字符串“textfield”创建的唯一名称。

<html><head><title>Table sample</title></head><body>
    <form action='/foo' name='form1'>
    <table id="table1">
        <script type="text/javascript">
            for (i = 1; i <= 5; i++) {
                document.write("<tr><td>" + i
                    + "</td><td><input name='textfield" + i
                    + "' type='text'></td></tr>");
            }
        </script>
    </table></form>
</body></html>

我们可能想测试五个文本字段是否被创建,以便我们可以从这开始。

@Test
public void documentWrite() throws Exception {
    final WebClient webClient = new WebClient();

    final HtmlPage page = webClient.getPage("http://myserver/test.html");
    final HtmlForm form = page.getFormByName("form1");
    for (int i = 1; i <= 5; i++) {
        final String expectedName = "textfield" + i;
        Assert.assertEquals(
            "text", 
            form.<HtmlInput>getInputByName(expectedName).getTypeAttribute());
    }
}

我们也可能要确保它不会创建“textfield0”或“textfield6”来检查一个一个的错误。尝试获取不存在的元素将导致抛出异常,所以我们可以将其添加到上一个测试的结尾。

try {
    form.getInputByName("textfield0");
    fail("Expected an ElementNotFoundException");
}
catch (final ElementNotFoundException e) {
    // Expected path
}

try {
    form.getInputByName("textfield6");
    fail("Expected an ElementNotFoundException");
}
catch (final ElementNotFoundException e) {
    // Expected path
}

示例:看“警报”

通常你想观看由JavaScript触发的警报。

<html><head><title>Alert sample</title></head>
<body onload='alert("foo");'>
</body></html>

警报由AlertHandler跟踪,每当调用JavaScript alert()函数时,它将被调用。在下面的测试中,我们注册一个警报处理程序,它将所有消息保存到列表中。当页面加载完成后,我们将收集的警报列表与预期警报的另一个列表进行比较,以确保它们相同。

@Test
public void alerts() throws Exception {
    final WebClient webClient = new WebClient();

    final List collectedAlerts = new ArrayList();
    webClient.setAlertHandler(new CollectingAlertHandler(collectedAlerts));

    // Since we aren't actually manipulating the page, we don't assign
    // it to a variable - it's enough to know that it loaded.
    webClient.getPage("http://tciludev01/test.html");

    final List expectedAlerts = Collections.singletonList("foo");
    Assert.assertEquals(expectedAlerts, collectedAlerts);
}

提示,确认和状态行消息

处理提示对话框,确认对话框和状态行消息的工作方式与警报相同。您注册一个适当类型的处理程序,并在调用该方法时收到通知。有关这些的详细信息,请参阅WebClient.setPromptHandler(),WebClient.setConfirmHandler()和WebClient.setStatusHandler()。

事件处理程序

大多数事件处理程序已经实现:onload,onclick,ondblclick,onmouseup,onsubmit,onreadystatechange,...它们将在适当的时候触发,就像在“真正的浏览器”中一样。

如果您希望测试的事件尚未被支持,那么您可以通过ScriptEngine直接调用它。请注意,虽然脚本引擎是可公开访问的,但我们不建议直接使用它,除非您没有其他选择。通过点击元素并转移焦点,操作页面会更好。

使用ActiveX:

 

虽然HtmlUnit是一个模拟浏览器的纯Java实现,但在某些情况下,特定于平台的功能需要集成其他库,ActiveX是其中之一。

Windows上的Internet Explorer可以运行任意ActiveX组件(如果用户信任网站,则安全级别有目的降低)。HtmlUnit和Internet Explorer都不能控制运行ActiveX的行为,所以在使用该功能之前必须要小心。

 

当前的实现取决于Jacob,并且由于它具有.dll依赖关系,所以没有上传到maven仓库。依赖是可选的,即Jacob jar不需要编译或通常使用HtmlUnit。

要使用Jacob,请将jacob.jar添加到类路径中,并将.dll放在路径(java.library.path)中,以便以下代码适用于您:

ActiveXComponent activeXComponent = new ActiveXComponent("InternetExplorer.Application");
boolean busy = activeXComponent.getProperty("Busy").getBoolean();
System.out.println(busy);

允许HtmlUnit使用ActiveX

唯一需要的是设置WebClient属性:

webClient.getOptions().setActiveXNative(true);

 

© 著作权归作者所有

共有 人打赏支持
诺岚
粉丝 0
博文 100
码字总数 174404
作品 0
广州
程序员
模拟浏览器的神器 - HtmlUnit

随着Web的发展,RIA越来越多,JavaScript和Complex AJAX Libraries给网络爬虫带来了极大的挑战,解析页面的时候需要模拟浏览器执行JavaScript才能获得需要的文本内容。 好在有一个Java开源项...

杨尚川
2014/04/04
0
6
HtmlUnit 网络爬虫 菜鸟的学习笔记(一)

什么是HtmlUnit HtmlUnit是一个开源的浏览器模拟工具,可以方便我们模拟浏览器的行为,例如打开网页,提交表单等,这样我们可以用他来爬网页 官网下载:http://htmlunit.sourceforge.net/ ja...

木有芒果
2015/08/31
0
0
Burp Xss Scanner插件开发思路分享(附下载)

  *本文原创作者:lufei,本文属FreeBuf原创奖励计划,未经许可禁止转载   0×00 前言   Burp虽然自带xss检测,但是Pyload与数量都不是自己能掌控的。所以自己写一款Xss检测插件,对一...

FreeBuf
05/12
0
0
使用Goodcrawler爬取700集的柯南

优酷在剧集太多时通过js生成剧集列表,而要获取其播放地址则需要点击来获取。gc使用htmlunit模拟了点击动作,可以轻易的获取全部播放地址。 以下是优酷动漫的配置: <?xml version="1.0" en...

shenbaise
2014/01/14
0
3
selenium之WebDriver

1、什么情况下选用WebDriver? (1)Selenium-1.0不支持的浏览器功能。 (2)multiple frames, multiple browser windows, popups, and alerts. (3)页面导航。 (4)下拉。 (5)基于AJAX的...

李长春
2011/07/20
0
3

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周一乱弹 —— 鱼生不值得

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @瘟神灬念:分享新裤子的单曲《没有理想的人不伤心 (Remix版)》: 《没有理想的人不伤心 (Remix版)》- 新裤子 手机党少年们想听歌,请使劲儿戳...

小小编辑
55分钟前
67
7
arts-week10

Algorithm 905. Sort Array By Parity - LeetCode Review Who’s Afraid of the Big Bad Preloader? 一文读懂前端缓存 一个网络请求3个步骤:请求,处理,响应,而前端缓存主要在请求处响应这两步...

yysue
今天
5
0
00.编译OpenJDK-8u40的整个过程

前言 历经2天的折腾总算把OpenJDK给编译成功了,要说为啥搞这个,还得从面试说起,最近出去面试经常被问到JVM的相关东西,总感觉自己以前学的太浅薄,所以回来就打算深入学习,目标把《深入理...

凌晨一点
今天
6
1
python: 一些关于元组的碎碎念

初始化元组的时候,尤其是元组里面只有一个元素的时候,会出现一些很蛋疼的情况: def checkContentAndType(obj): print(obj) print(type(obj))if __name__=="__main__": tu...

Oh_really
昨天
7
2
jvm crash分析工具

介绍一款非常好用的jvm crash分析工具,当jvm挂掉时,会产生hs_err_pid.log。里面记录了jvm当时的运行状态以及错误信息,但是内容量比较庞大,不好分析。所以我们要借助工具来帮我们。 Cras...

xpbob
昨天
197
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部