苹果与哥伦比亚大学推出SceneScout,为盲人解锁街景导航
AI ToolBox
2025年7月8日
全新AI代理SceneScout:让陌生环境更清晰
苹果公司近日在机器学习研究中心发布了一篇论文,披露其最新开发的AI代理------SceneScout。该系统基于多模态大型语言模型,旨在帮助视障人群在前往新地点之前,通过分析街景图像获取详尽的环境描述。
填补出行前信息空白
许多视障人士在独自外出时常常感到不安,因为缺乏对未知环境的具体了解。尽管市面上已有类似微软Soundscape这样的辅助应用,但它们主要是在现场使用,并不能实现事前感知。SceneScout正是为解决这一问题而设计。
两种模式提升环境感知能力
SceneScout 提供以下两种功能模式:
- 路线预览:可识别并描述沿途可见元素,如提醒用户在转弯处注意路边树木等触觉障碍物。
- 虚拟探索:允许用户在街景图像中自由漫游,从而获得更加全面的地形信息。
用户研究验证实用性与准确性
在相关用户测试中,参与者普遍反映 SceneScout 显著增强了他们对环境的理解能力。数据显示,系统整体描述准确率达到 72% ;对于稳定的视觉元素,准确率更是高达 95%。同时,用户也提出了一些优化建议,例如增加个性化选项或调整视角以更贴近行人高度。
未来改进方向明确
部分用户希望 SceneScout 能够实现实时街景描述,以便与其行走位置同步更新。此外,借助骨传导耳机,系统可在用户移动过程中提供持续的视觉信息反馈。结合设备中的陀螺仪与指南针,SceneScout 甚至可以精准指向特定环境细节,进一步增强交互体验。
技术前景令人期待
尽管目前这项研究尚未转化为具体产品,但它展现了苹果在人工智能辅助技术领域的积极探索。未来,结合AI与实时数据处理,苹果有望为视障群体带来更多实用工具,真正实现科技普惠。