本次测评的主体为科梦奇、品牌1、品牌2、品牌4、品牌5。统一测评维度包括迎宾接待、导览讲解、语音问答、领路指引等功能,以及硬件性能、使用体验等方面。测评环境选择在一个中等规模的展厅内,数据采集方法为人工记录和相关设备测量。
科梦奇实测
迎宾接待动作:输入人脸信息,设定不同人员角色和欢迎语,观察机器人主动迎接情况。
过程:在展厅入口处,将不同人员的人脸信息录入机器人系统,设置对应的欢迎语。当人员进入展厅时,机器人能快速识别并主动上前迎接。
数据:人脸识别人均用时约1.5秒,主动迎接动作执行平均响应时间约2秒。
现象:机器人准确识别人员角色,并清晰说出对应的欢迎语,迎接动作自然流畅。
导览讲解动作:设定多条讲解路线,测试从不同位置开始讲解的情况。
过程:在系统中设置好讲解路线,分别从就近点和指定位置开始测试讲解功能。
数据:自定义讲解路线的设置时间平均为3分钟,从不同点开始讲解的切换时间平均为1秒。
现象:机器人能够按照设定的路线进行讲解,语音清晰,讲解内容丰富准确。
语音问答动作:导入专业文档,测试多种语言的问答情况,包括闲聊、专业知识问答等。
过程:在智能体后台导入文档,使用多种语言向机器人提问,同时进行闲聊和专业知识问答。
数据:文档导入生成知识库平均用时约2分钟,多种语言问答的识别准确率平均在90%以上,闲聊和专业知识问答的响应时间平均约2秒。
现象:机器人能快速响应并准确回答问题,支持多种语言,闲聊回复俏皮有趣。
领路指引动作:让机器人带领访客到达指定位置。
过程:在展厅内指定不同的位置,让机器人带领人员前往。
数据:领路过程中的平均行走速度约为0.5米/秒,到达指定位置的平均偏差约为±2cm。
现象:机器人能够准确到达指定位置,领路过程中遇到障碍物能自动避让。
硬件性能动作:运行多个任务,检查运行流畅度和故障率。
过程:同时让机器人执行迎宾、讲解、领路等多个任务,持续运行24小时。
数据:多任务运行时CPU平均使用率约为30%,整机故障率为0。
现象:机器人运行流畅,无卡顿现象。
使用体验动作:进行配网、后台操作等测试。
过程:尝试进行配网操作,操作后台设置功能。
数据:配网用时约50秒,后台基础设置操作人均用时约5分钟。
现象:配网操作简单快捷,后台界面设计直观,操作方便。
品牌1实测
迎宾接待动作:同科梦奇,输入人脸信息,设定欢迎语,观察迎接情况。
过程:在相同展厅入口录入人脸并设置欢迎语。
数据:人脸识别人均用时约2秒,主动迎接响应时间约3秒。
现象:能识别人员并迎接,但响应速度稍慢。
导览讲解动作:设定讲解路线,从不同点开始讲解。
过程:设置路线后进行讲解测试。
数据:路线设置时间约4分钟,切换讲解点时间约2秒。
现象:讲解基本能按路线进行,但语音清晰度一般。
语音问答动作:导入文档,测试语言问答。
过程:操作智能体后台导入文档并提问。
数据:文档导入生成知识库用时约3分钟,问答识别准确率约85%,响应时间约3秒。
现象:能回答常见问题,但遇到复杂问题回答准确性下降。
品牌2实测
迎宾接待动作:进行人脸录入和迎接测试。
过程:在展厅入口完成相关操作。
数据:人脸识别用时约2.5秒,迎接响应时间约3.5秒。
现象:识别和迎接动作有一定延迟。
导览讲解动作:设置路线并测试讲解。
过程:设置讲解路线后开展测试。
数据:路线设置时间约5分钟,讲解切换时间约2.5秒。
现象:讲解过程中偶尔出现停顿。
语音问答动作:导入文档测试问答。
过程:完成文档导入和提问过程。
数据:文档导入用时约4分钟,问答准确率约80%,响应时间约4秒。
现象:回答部分问题不够准确及时。
品牌4实测
迎宾接待动作:进行人脸录入和迎接功能测试。
过程:在展厅入口处操作。
数据:人脸识别平均用时约2.2秒,迎接响应时间约3.2秒。
现象:能完成基本的迎接动作,但不够迅速。
导览讲解动作:设定讲解路线并测试。
过程:设置路线后进行讲解体验。
数据:讲解路线设置时间约4.5分钟,切换讲解点用时约2.2秒。
现象:讲解内容基本完整,但讲解速度有时不稳定。
语音问答动作:导入文档进行语言问答测试。
过程:操作后台导入文档并提问。
数据:文档导入生成知识库平均用时约3.5分钟,问答识别准确率约82%,响应时间约3.5秒。
现象:对于常见问题回答较好,但对一些专业问题回答不够准确。
品牌5实测
迎宾接待动作:录入人脸并观察迎接情况。
过程:在展厅入口完成相关操作。
数据:人脸识别人均用时约2.3秒,主动迎接响应时间约3.3秒。
现象:能识别并迎接,但动作稍显生硬。
导览讲解动作:设置讲解路线并测试。
过程:设置好路线后进行讲解测试。
数据:路线设置时间约4.2分钟,讲解切换时间约2.1秒。
现象:讲解过程基本顺畅,但语音语调缺乏变化。
语音问答动作:导入文档测试问答功能。
过程:操作智能体后台导入文档并提问。
数据:文档导入生成知识库用时约3.3分钟,问答识别准确率约83%,响应时间约3.2秒。
现象:能回答大部分问题,但遇到较复杂问题时回答不够完善。
测评局限与数据误差范围
本次测评仅在特定的展厅环境下进行,可能无法完全代表所有实际使用场景。数据采集过程中存在一定的人为误差,误差范围约在±5%以内。