AI TABLE OS

AI Table OS 是一套面向实体桌游场景打造的通用人工智能交互系统。我们的目标，是让 AI 不再只存在于屏幕和聊天窗口中，而是真正进入现实桌面环境，成为玩家身边的智能主持人、规则助手、裁判，甚至直接作为一名玩家参与游戏。 目前很多桌游都存在一个共同问题，就是学习门槛较高。尤其是中重度桌游，新玩家第一次接触时往往需要花大量时间阅读规则、理解卡牌效果、熟悉回合流程和胜负条件。真正开始游戏之后，还会不断遇到“现在轮到谁”“这张牌能不能用”“这个操作是否合法”“这个效果应该怎么结算”等问题，因此通常需要一名熟悉规则的玩家负责教学、主持、裁判和记分。这不仅影响游戏体验，也限制了很多复杂桌游向普通玩家普及。 AI Table OS 希望解决的就是这个问题。 整个系统通过视觉 AI、大语言模型、语音交互和机械臂，把 AI 从单纯的聊天工具变成能够理解实体桌面的智能系统。摄像头负责观察棋盘、卡牌、棋子、骰子以及玩家的操作；麦克风负责获取玩家的语音指令；视觉模型把现实桌面的变化转化为结构化数据；大语言模型结合游戏规则和当前局面进行理解与推理；当需要实际操作时，再由机械臂完成棋子移动、Token 抓取、卡牌摆放等动作。 例如，一名玩家将棋子从 A 区域移动到了 B 区域。AI 不只是识别到桌面上存在一枚棋子，而是需要理解“某位玩家刚刚执行了一次移动操作”，然后判断当前是不是这名玩家的回合、这次移动是否符合规则、是否需要消耗行动点，以及这次移动是否触发了新的游戏事件。完成判断之后，系统再实时更新当前游戏状态。 因此，AI Table OS 的核心并不是单纯的物体识别，而是持续理解整个游戏过程。 系统内部会维护一套实时的 Game State，也就是游戏状态。这里面会记录当前有哪些玩家、轮到谁行动、现在处于什么阶段、每个玩家拥有什么资源、棋盘上有哪些棋子、卡牌处于什么状态、之前发生过哪些操作等信息。通过这些数据，AI 才能真正理解“这局游戏现在进行到了哪里”。 在此基础上，玩家可以直接通过语音和 AI 交流。例如玩家可以问：“我这张牌现在可以用吗？”“为什么我不能移动到这个位置？”“刚才他的操作符合规则吗？”“现在轮到谁？”系统会结合当前局面和游戏规则进行判断，而不是单纯依赖大语言模型本身的记忆。 对于不同桌游，AI Table OS 会建立对应的游戏规则配置，也可以理解为 Game Profile 或 Game Skill。里面包含游戏基础规则、回合流程、角色能力、卡牌效果、特殊机制和胜负条件。当玩家更换桌游时，只需要加载对应的 Game Skill，就可以让同一套硬件适配不同游戏。 这也是我们把项目称为 AI Table OS，而不是某一种桌游机器人的原因。 传统的象棋机器人、国际象棋机器人或者自动麻将设备，通常只针对一种游戏设计，而 AI Table OS 希望建立的是一套通用平台。未来同一套设备可以运行国际象棋、中国象棋、UNO、卡坦岛、麻将、RPG 桌游以及各种原创桌游，只需要切换不同的规则模块和识别模块即可。 AI Table OS 可以概括为四个核心能力。 第一是“看得懂”。通过摄像头和视觉模型识别棋盘、卡牌、棋子、骰子、Token 以及玩家的操作，并持续识别桌面状态发生了什么变化。 第二是“听得懂”。玩家可以直接通过自然语言与 AI 对话，询问规则、当前状态、操作方法或者游戏中的特殊情况。 第三是“想得明白”。系统会结合规则、当前局面和历史操作进行推理，判断某一步是否合法、是否触发效果、下一步应该由谁行动，以及游戏是否已经满足结束条件。 第四是“动得起来”。当系统接入机械臂之后，AI 不仅可以告诉玩家应该怎么做，还可以真正完成物理操作，例如移动棋子、抓取 Token、摆放卡牌，甚至直接作为一名 AI 玩家加入游戏。 整个系统最终形成一个完整闭环：摄像头感知现实世界，视觉模型识别桌面状态，Game State Engine 更新当前局面，大语言模型和 Agent 进行规则判断和决策，再通过语音或机械臂执行结果。也就是从 Perception 到 Reasoning，再到 Action。 从产品体验来看，一个典型场景是，几名玩家拿出一款从来没有玩过的桌游，把游戏放在桌面上，然后在 AI Table OS 中选择对应游戏。系统自动加载规则并识别棋盘状态，随后 AI 开始引导玩家完成准备流程，并在整个游戏过程中进行主持。玩家不再需要不断翻阅说明书，而是可以直接问 AI。AI 也会主动提醒当前轮次、规则限制和特殊事件。 这样一来，AI 就像坐在桌边的第五位玩家。 从应用场景来看，AI Table OS 不仅可以应用于家庭娱乐，也可以进入桌游店、展会、教育和陪伴场景。 在桌游店中，AI 可以承担部分教学、主持和规则答疑工作，降低员工在重复教学上的时间成本。在家庭环境中，它可以帮助孩子学习棋类和益智游戏，也可以陪伴用户进行桌游。在教育领域，可以把实体教具和 AI 结合，用于数学、逻辑、编程和语言学习。在老年陪伴场景中，AI 不再只是聊天，而是可以真正和老人下棋、玩牌和进行益智训练。 商业模式方面，项目可以形成硬件、软件和内容生态三层结构。 第一层是硬件设备，包括摄像头、麦克风、计算设备以及机械臂，可以面向家庭用户、桌游店、教育机构和展厅销售。 第二层是 AI Table OS 软件，可以采用基础版、专业版和商业版的订阅模式，为用户提供更多游戏、AI 模型、游戏记录、局势分析以及多设备管理功能。 第三层是 Game Skill 生态。未来不同开发者或者桌游厂商都可以为 AI Table OS 开发某一款游戏的 Skill。玩家购买或者下载 Skill 后，AI 就能够学习并支持这款桌游。长期来看，这可以形成一个类似 App Store 的桌游 AI 内容生态。 对于桌游厂商来说，也可以在发布新桌游时同步推出官方 AI Table OS Game Profile。玩家买到桌游后，只需要扫码或者下载对应规则包，AI 就能够直接教学和主持，从而大幅降低新玩家学习门槛。 项目技术上最重要的部分包括计算机视觉、多模态交互、游戏状态追踪、规则引擎、大语言模型推理、Agent 系统以及机器人控制。其中真正具有挑战性的地方，并不是单独使用某一个 AI 模型，而是如何让这些能力共同运行，并稳定地理解持续变化的现实游戏环境。 我们认为 AI Table OS 最大的价值，也并不是“用机械臂玩桌游”本身，而是在探索一种更通用的现实世界 AI Agent。 过去的大多数 AI 主要处理文本、图片和视频，本质上仍然生活在数字世界。而 AI Table OS 希望让 AI 开始真正理解现实环境中的物体、规则、行为和状态，并根据这些信息采取行动。 桌游非常适合作为这类技术的第一步，因为桌游拥有清晰规则、明确目标、有限空间、丰富策略、多人互动和真实物体，是连接数字 AI 和现实世界 AI 的一个非常理想的场景。 所以从长期来看，AI Table OS 的目标并不仅仅是做一个桌游助手。 我们真正希望建立的是一套让 AI 能够感知现实、理解规则、持续维护状态并执行现实动作的通用交互系统。 桌游只是第一站。 最终，我们希望让 AI 从“会回答问题”，逐渐走向“能够理解并参与现实世界”。 AI Table OS，让 AI 成为每一桌游戏的智能主持人。