XIO

xWire

Posts from every feed QUEST has found across the web — blogs, news, podcasts, channels and more.

Apache HugeGraph

Recent content on Apache HugeGraph

HugeGraph 0.12 Release Notes

API & Client 接口更新 支持 https + auth 模式连接图服务(hugegraph-client #109 #110) 统一 kout/kneighbor 等 OLTP 接口的参数命名及默认值(hugegraph-client #122 #123) 支持 RESTful 接口利用 P.textcontains() 进行属性全文检索(hugegraph #1312) 增加 graph_read_mode API 接口,以切换 OLTP、OLAP 读模式(hugegraph #1332) 支持 list/set 类型的聚合属性 aggregate property(hugegraph #1332) 权限接口增加 METRICS 资源类型(hugegraph #1355、hugegraph-client #114) 权限接口增加 SCHEMA 资源类型(hugegraph #1362、hugegraph-client #117) 增加手动 compact API 接口,支持 rocksdb/cassandra/hbase 后端(hugegraph #1378)…

Rank API

4.1 rank API 概述 HugeGraphServer 除了上一节提到的遍历(traverser)方法,还提供了一类专门做推荐的方法,我们称为rank API,可在图中为一个点推荐与其关系密切的其它点。

Traverser API

3.1 traverser API 概述 HugeGraphServer 为 HugeGraph 图数据库提供了 RESTful API 接口。除了顶点和边的 CRUD 基本操作以外,还提供了一些遍历(traverser)方法,我们称为traverser API。这些遍历方法实现了一些复杂的图算法,方便用户对图进行分析和挖掘。

HugeGraph 1.0.0 Release Notes

OLTP API & Client 更新 API/Client 接口更新 支持热更新trace开关的 /exception/trace API。 支持 Cypher 图查询语言 API。 支持通过 Swagger UI 接口来查看提供的 API 列表。 将各算法中 ’limit’ 参数的类型由 long 调整为 int。 支持在 Client 端跳过 Server 对 HBase 写入数据 (Beta)。 Core & Server 功能更新 支持 Java 11 版本。 支持 2 个新的 OLTP 算法:adamic-adar 和 resource-allocation。 支持 HBase 后端使用哈希 RowKey,并且允许预初始化 HBase 表。 支持 Cypher 图查询语言。 支持集群 Master 角色的自动管理与故障转移。 支持 16 个 OLAP 算法,包括:LPA, Louvain, PageRank, BetweennessCentrality, RingsDetect 等。 根据 Apache 基金会对项目的发版要求进行适配,包括 License…

Edge API

2.2 Edge 顶点 id 格式的修改也影响到了边的 id 以及源顶点和目标顶点 id 的格式 EdgeId 是由 src-vertex-id + direction + label + sort-values + tgt-vertex-id 拼接而成,但是这里的顶点 id 类型不是通过引号区分的,而是根据前缀区分:

配置 HBase 后端

概述 HBase 后端将图数据存储在 Apache HBase 表中。HugeGraph 仅作为 HBase 客户端:它通过 HBase 的 ZooKeeper 集群连接,为每个图创建一个 HBase namespace,并在其中创建该图的 schema 表、数据表和索引表。计数查询由 HBase 的 AggregateImplementation 协处理器完成,HugeGraph 在创建每张表时都会挂载该协处理器。

报告安全问题

报告 Apache HugeGraph 的安全问题 警告 生产环境安全要求 HugeGraph 默认不启用用户认证。生产环境必须启用认证与授权、将 white_ip.status 设为 enable 并启用和维护 IP 白名单,同时按最小权限为账号授权;不得将 Gremlin、Cypher 等查询接口直接暴露到公网。白名单管理方式见 IP 白名单 API。生产部署还必须隔离 Server 进程,可使用 Docker 或 Kubernetes 等容器环境。 Server 标准配置将鉴权代理的审计记录写入 audit-*.log。部署时必须保留并限制这些日志的读取权限。auth.audit_log_rate 只控制每用户的最大日志输出速率,不是审计日志的启停开关。

Vertex API

2.1 Vertex 顶点类型中的 Id 策略决定了顶点的 Id 类型,其对应的 id 类型如下: 顶点 ID 策略 Id_Strategy id type AUTOMATIC number PRIMARY_KEY string CUSTOMIZE_STRING string CUSTOMIZE_NUMBER number CUSTOMIZE_UUID uuid 顶点的 GET/PUT/DELETE API 中 url 的 id 部分应该传入带有类型信息的 id 值,这个类型信息通过 json 串是否带引号来表示,也就是说:

HugeGraph 1.2.0 Release Notes

Java version statement In the future, we will gradually upgrade the java version, Java 11 -> Java 17 -> Java 21. Consider using Java 11 in hugegraph/hugegraph-toolchain/hugegraph-commons, also compatible with Java 8 now. hugegraph-computer required to use Java 11, not compatible with Java 8 now! v1.2.0 是倒数第二个兼容 Java8 的大版本, 到 1.5.0 PD/Store 正式合入 master 后标志着 Java8 兼容的正式终结 (除 Client 外所有组件都将以 Java 11 作为基准,然后逐步迈向 Java17/21).

Vermeer Python 客户端

vermeer-python-client 是 Vermeer 的 Python SDK。Vermeer 是使用 Go 编写、以内存计算为主的图计算引擎。该 SDK 封装了 Vermeer master 的 REST API,可以在 Python 中列出图、提交加载和计算任务、读取任务状态。导入时使用的包名是 pyvermeer。

Rebuild API

1.6 Rebuild 重建顶点、边或索引标签使用 PUT .../jobs/rebuild/{type}/{name}:目标标签不存在时返回 HTTP 404; 已有标签返回 HTTP 202 与任务 ID,应轮询任务结果后再确认重建完成。

FAQ

部署与启动 如何选择 RocksDB 或 HStore 开发测试或中小规模单机部署推荐选择 Server + RocksDB,部署轻便且性能优异。当数据规模较大(如 TB/PB 级)、需要水平扩容或多副本高可用时,推荐部署 HStore 分布式集群(PD + Store + Server)。

HugeGraph Docker 集群部署指南

概述 HugeGraph 通过 Docker-Compose 可快速运行完整的分布式集群版(PD + Store + Server)。该方式适用于 Linux 和 Mac。 前置条件 Docker Engine 20.10+ 或 Docker Desktop 4.x+ Docker Compose v2 Mac 运行 3 节点集群时,建议分配至少 12 GB 内存(设置 → 资源 → 内存)。[其他平台根据实际情况调整] 已测试环境:Linux(原生 Docker)和 macOS(Docker Desktop with ARM M4)

配置 RocksDB 后端

概述 RocksDB 是一个嵌入式的 LSM-tree 键值存储。使用 rocksdb 后端时,HugeGraph-Server 把全部图数据保存在 服务进程内部的 RocksDB 实例中,不需要额外部署存储服务。发布包中的 conf/graphs/hugegraph.properties 默认使用的就是这个后端。

备份与恢复

描述 Backup 将一张图的 Schema、顶点和边导出为 JSON 数据,Restore 将这些数据导入目标图。 它们是 HugeGraph-Tools 的命令,适合图迁移、升级后的恢复及图合并。

HugeGraph-LLM REST API

HugeGraph-LLM 演示进程同时提供 Web 页面和 REST API。默认地址是 http://localhost:8001: 1cd hugegraph-ai/hugegraph-llm 2python -m hugegraph_llm.demo.rag_demo.app \ 3 --host 127.0.0.1 \ 4 --port 8001 所有接口都使用 POST: 路径 成功状态码 用途 /rag 200 按所选召回方式回答问题 /rag/graph 200 只做图召回,不生成最终答案 /graph/extract 200 从文本抽取顶点和边 /text2gremlin 200 由自然语言生成 Gremlin /config/graph 201 更新 HugeGraph 连接 /config/llm 201 更新语言模型 /config/embedding 201 更新嵌入模型 /config/rerank 201 更新重排序模型 /logs 200 流式返回服务日志 认证 在 .env 中启用登录:

HugeGraph 1.3.0 Release Notes

运行环境/版本说明 优先在 hugegraph/toolchain/commons软件中使用 Java 11, 此次是这些模块最后一次主版本兼容 Java 8 了。(computer 则仅支持 Java11) 另外相比 Java11, 使用 Java8 会失去一些安全性的保障,我们推荐生产或对外网暴露访问的环境使用 Java11 并开启 Auth 权限认证 1.3.0 是最后兼容 Java 8 的版本,在 1.5.0 开始就会全面使用 Java 11 (除client外).

HugeGraph Kubernetes 运维

本文配合 Helm 部署使用。生命周期检查和恢复说明见 运维参考,所有参数说明见 chart 的 values.yaml。 命令假设 release 和 namespace 都是 hugegraph,覆盖名称时请替换实际工作负载名。 1 存储和内网镜像 基础安装需要七个持久卷。动态存储需要正常的 provisioner,静态 local 存储需要预建目录和绑定节点的匹配 PV。 完整例子包含七个 local PV、WaitForFirstConsumer、镜像仓库和 GitOps Secret。 WaitForFirstConsumer 的 PVC 初期 Pending 可以是正常等待;持续 Pending 应检查 PVC/Pod 事件和 PV 匹配。 PVC 已绑定但目录不存在或权限不匹配时可能挂载失败,不能把故障 PVC 静默替换成临时目录。

IndexLabel API

1.5 IndexLabel 假设已经创建好了 1.1.3 中的 PropertyKeys、1.2.3 中的 VertexLabels 以及 1.3.3 中的 EdgeLabels 1.5.1 创建一个 IndexLabel Method & Url 1POST http://localhost:8080/graphspaces/DEFAULT/graphs/hugegraph/schema/indexlabels Request Body 1{ 2 "name": "personByCity", 3 "base_type": "VERTEX_LABEL", 4 "base_value": "person", 5 "index_type": "SECONDARY", 6 "fields": [ 7 "city" 8 ] 9} Response Status 1202 Response Body 1{ 2 "index_label": { 3 "id": 1, 4 "base_type": "VERTEX_LABEL", 5 "base_value": "person", 6…

配置参考

HugeGraph-LLM 从 .env 读取运行配置,提示词单独保存在 config_prompt.yaml。两者使用不同的路径解析规则;不要把提示词文件当作 .env 的一部分。 .env 路径按以下顺序解析:

配置 HugeGraphServer 使用 https 协议

概述 HugeGraphServer 默认使用的是 http 协议,可以配置成 https。 警告 HTTPS 不替代服务端鉴权与访问控制 HTTPS 保护传输链路,但不限制调用者权限。生产环境必须使用 HTTPS,并按 Server 认证与授权配置启用 Server Auth、IP 白名单和最小权限授权,同时保留、保护 Server audit-*.log。若由反向代理终结 TLS,还必须限制到 Server 后端端口的网络访问。

在 IDEA 中配置 Server 开发环境

适用范围:下述 IDEA 配置基于 HugeGraph 1.2.0 发布标签,仅作为历史调试步骤保留。当前主线的源码目录和验证入口见贡献流程与 Server 快速上手;不要从本页推断当前模块清单。 背景 在 快速上手 部分已经介绍了使用脚本启停 HugeGraph-Server 的流程。下面以 Linux 平台为例,介绍使用 IntelliJ IDEA 运行与调试 HugeGraph-Server 的流程。

HugeGraph-Spark-Connector 快速上手

1 HugeGraph-Spark-Connector 概述 HugeGraph-Spark-Connector 使用 Spark DataFrame API 将批量数据写入 HugeGraph。当前实现提供顶点和边的写入器。 目前尚未实现从 HugeGraph 读取数据:表只实现了 SupportsWrite,因此不支持 spark.read.format(...)。连接器支持 CUSTOMIZE 和 PRIMARY_KEY 两种顶点 id 策略,AUTOMATIC 策略会被拒绝。

使用 Helm 部署 HugeGraph

本文适用于 HugeGraph 1.8.0 及以后版本,需要支持 OCI 的 Helm 3.10+ 和 Kubernetes (K8s) 1.23+。 可从 GHCR 或 Docker Hub 安装 hugegraph-helm。Chart 与 HugeGraph 服务分别维护版本,例如 0.4.x 的 Chart 可以部署 1.8.x 的服务。

EdgeLabel API

1.4 EdgeLabel 假设已经创建好了 1.2.3 中的 PropertyKeys 和 1.3.3 中的 VertexLabels Params 说明 name:顶点类型名称,必填 source_label: 源顶点类型的名称,必填 target_label: 目标顶点类型的名称,必填 frequency:两个点之间是否可以有多条边,可以取值 SINGLE 和 MULTIPLE,非必填,默认值 SINGLE properties: 边类型关联的属性类型,选填 sort_keys: 当允许关联多次时,指定区分键属性列表 nullable_keys:可为空的属性,选填,默认可为空 enable_label_index:是否开启类型索引,默认关闭 1.4.1 创建一个 EdgeLabel Method & Url 1POST http://localhost:8080/graphspaces/DEFAULT/graphs/hugegraph/schema/edgelabels Request Body 1{ 2 "name": "created", 3 "source_label":…