Banyan·榕智能系统加持 NOMI GPT大模型上线!

保养维修作者:wang1232024-07-17更新:

4月12日,蔚来NOMI GPT大模型正式发布,并同步推送至搭载Banyan·榕蔚来智能系统的车型。

据悉,本次NOMI升级基于全新技术架构,为其量身打造了NOMI GPT端云多模态大模型。该模型涵盖自研多模态感知、自研认知中枢、情感引擎、多专家Agent等功能,能够打通蔚来产品、服务、社区,提供更高效、愉悦的AI服务。

Banyan·榕智能系统加持 NOMI GPT大模型上线!

NOMI GPT端云多模态大模型包含自研的端云融合架构、多模态感知、认知中枢、情感引擎、记忆能力、NOMI GPT Agents(NIO Agents、User Agents、三方Agents)等,能够灵活调用第三方API,搭建AI Agent,打通蔚来产品、服务、社区,提供更高效、愉悦的AI用车体验。

NOMI具备“看得见,认得出”“听得到,听得懂”“知冷热,有触感”等能力,同时做到账号隔离,敏感信息不出车,车载通信端到端加密,保障用户隐私安全。

据官方介绍,蔚来自研的端侧多模态感知拥有数十亿参数,融合了图像、音频、车身传感器等多模感知,并能将多维度感知用自然语言描述,从而更全面地感知舱内外,提供更高效且保护隐私的智能体验。

基于端侧多模感知,NOMI可以看见用户的物品、着装、状态,甚至舱外的车辆、楼宇、动物植物,进而提供更个性化的沟通服务。值得一提的是,端侧多模态感知内部测试中,预计今年内上车。

NOMI将拥有独有情感引擎,通过与用户长期沟通与陪伴、记忆、学习,实现有个性的成长。

关于记忆方面,NOMI的记忆能力包括短期记忆和长期记忆,短期记忆可以让NOMI记住用户最近在聊的话题、用户之前提到人和物,长期记忆让NOMI能够记住用户和家人朋友,记住用户的喜好。

值得一提的是,情感引擎能够帮助NOMI更快的学习成长,通过实时反馈、事后反思、人为训练等方式,不断变得更加聪明,不断掌握新技能和新知识。情感引擎也在让NOMI有更独特的人设,包括性格、三观、梦想等,让NOMI的每一句对话、每一个表情,都符合NOMI的基本人设,但也会随着陪伴时间的增长,而潜移默化地和用户更加契合。

跟随245 NOMI应用更新上线全新AI场景生成,包含NOMI支持通过自然语言,一句话实现场景任务创建,在千量级车辆原子能力中,组合出使用情境,贴合用户驾乘习惯的方方面面。

例如:行车顾问:支持日常通勤、行车准备、离车设定等情境下的用车习惯设定,如:「工作日早上我上车就自动导航去公司,把热点打开,空调调到23度,然后播放NIORadio资讯充电站」等。