ytsaurus yat

YTsaurus 是 Yandex 开发的一款开源分布式大数据存储与处理平台，具备高可扩展性、容错性和多模型数据处理能力。该平台最初作为 Yandex 内部系统使用，于 2023 年正式开源[[1]]。以下为 YTsaurus 的中文使用手册，涵盖核心特性、架构和基础操作指南。

一、平台核心特性

YTsaurus 的核心优势在于其高度集成的子系统设计和强大的资源管理能力：

1. 多模型支持：
   • 支持 MapReduce 计算模型、分布式文件系统（类似 HDFS）和 NoSQL 键值数据库（低延迟 OLTP 场景）[[2]]。
   • 提供 SQL 查询引擎（CHYT，基于 ClickHouse）和 Apache Spark 集成（SPYT），支持即席分析和 ETL 流程[[3]]。
2. 分布式事务与一致性：
   • 支持 ACID 事务，保障数据操作的原子性和一致性[[4]]。
3. 资源隔离与扩展性：
   • 可管理超大规模集群（支持百万级 CPU 核心、数千 GPU），数据可跨 HDD/SSD/NVMe/RAM 分级存储[[5]]。
   • 计算与存储资源安全隔离，支持动态扩缩容[[6]]。
4. 高可用性：
   • 无单点故障，通过多副本自动复制和数据强一致性保障服务可靠性[[7]]。

二、系统架构

1. 核心组件

• 计算引擎：MapReduce、SQL（CHYT）、Spark（SPYT）[[8]]。
• 存储层：分布式文件系统（支持结构化和非结构化数据）、键值存储（适用于实时读写场景）[[9]]。
• 资源调度：内置作业调度器，优化资源分配和任务执行[[10]]。
• 元数据管理：分布式元数据存储，支持事务性操作[[11]]。

2. 生态集成

• 兼容 BI 工具（如 Tableau）、Apache Spark 和 ClickHouse，支持多种开发语言 SDK[[12]]。

三、快速入门指南

1. 安装与部署

• 环境要求：Linux 集群（建议 Ubuntu/CentOS），需配置节点间网络互通。
• 部署方式：
  • 通过官方提供的 Docker 镜像或源码编译安装（详见 GitHub 仓库）[[13]]。
  • 使用 Kubernetes 编排工具管理集群（需配置 YTsaurus 运维组件）。

2. 基础操作示例

（1）数据写入与查询

# 创建表并写入数据
yt create table //path/to/table --schema "{name=string; age=int64}"
yt write //path/to/table --data '{"name":"Alice", "age":25}'

# 使用 SQL 查询（CHYT 引擎）
yt execute-query --query "SELECT * FROM //path/to/table WHERE age > 20"

（2）启动 MapReduce 作业

# 使用 Python SDK
from yt.wrapper import YtClient

client = YtClient(proxy="<cluster-proxy>")
client.run_map("mapper.py", input_table="//input", output_table="//output")

3. 监控与管理

• 通过 Web UI 查看集群状态、作业进度和资源使用情况。
• 使用内置工具 yt 进行集群运维（例如节点管理、日志排查）。

四、适用场景

1. 大规模数据分析：日志处理、用户行为分析（MapReduce + SQL）[[14]]。
2. 实时数据服务：键值存储支持低延迟读写（如用户画像实时更新）[[15]]。
3. 机器学习训练：GPU 集群加速深度学习任务[[16]]。

五、资源与支持

• 官方文档：ytsaurus.tech[[17]]
• 开源地址：GitHub - ytsaurus/ytsaurus[[18]]
• 社区支持：通过 GitHub Issues 提交问题或参与开发。

注：部分高级功能（如跨集群同步、自定义调度策略）需参考官方文档详细配置。平台持续更新，建议关注开源仓库获取最新特性[[19]]。