开源中国

我们不支持 IE 10 及以下版本浏览器

It appears you’re using an unsupported browser

为了获得更好的浏览体验,我们强烈建议您使用较新版本的 Chrome、 Firefox、 Safari 等,或者升级到最新版本的IE浏览器。 如果您使用的是 IE 11 或以上版本,请关闭“兼容性视图”。
Ferret首页、文档和下载 - 声明式 Web 爬虫系统 - 开源中国社区
全部项目分类
我要评价
MIT
Google Go
跨平台
分享
收藏
41 人收藏
收录时间:2018-10-10
Ferret 详细介绍

Ferret 是一个声明式的 Web 爬虫系统,旨在简化网络上的数据提取,以用于 UI 测试、机器学习和分析等等。

Ferret 拥有自己的声明式语言,通过抽象出技术细节和底层技术的复杂性,从而更专注于数据本身。

特性

  • 声明式语言

  • 支持静态和动态 web 页面

  • 嵌入式

  • 可扩展

示例

LET google = DOCUMENT("https://www.google.com/", true)

INPUT(google, 'input[name="q"]', "ferret", 25)
CLICK(google, 'input[name="btnK"]')

WAIT_NAVIGATION(google)

FOR result IN ELEMENTS(google, '.g')
    // filter out extra elements like videos and 'People also ask'
    FILTER TRIM(result.attributes.class) == 'g'
    RETURN {
        title: INNER_TEXT(result, 'h3'),
        description: INNER_TEXT(result, '.st'),
        url: INNER_TEXT(result, 'cite')
    }
Ferret

选择将代码托管在码云
你还在等什么

可能是中国最大最好的代码托管平台


大家对 Ferret 的评论 (全部 1 条评论)
{{repayCom.userName}}
开源中国射线科科长
一股Py味~呵~一看就是Google的人开发的
顶部