在各家都还在做APP寻找大模型的使用场景时,字节已经开发了与AI大模型结合的硬件产品——Ola friend。虽然不是第一个,但字节的这款硬件产品,有何独特之处?这篇文章,我们看看作者的分析。
上次分享了《深度剖析字节豆包AI》这篇文章后,比较有趣的是事情是,收到了很多大厂圈的朋友的反馈,其中也包括字节内部的同学,一方面文章在帮助他们面试字节AI相关岗位的时候发挥了很大作用,其次是对于AI产品和商业不太熟悉的同学,读完也会有些收获,这些热情反馈给了三白更多的创作热情,今天分享的是字节最近刚推出的另外一个AI产品:豆包AI耳机Ola Friend。
全文累计1.7万字,阅读预计需要20分钟,内容包括七个探讨主题,覆盖产品、行业、用户需求、竞品、商业等多个领域,为提升大家的阅读效率,全篇内容我整理了一个脑图如下:
1.2 产品交互形态豆包AI耳机首先需要连接手机端豆包APP,连接后才可使用,耳机和手机APP的连接方式是通过蓝牙建立连接,所以产品的使用需要确保耳机和手机在蓝牙连接范围之内;在蓝牙连接距离内,使用时,可以脱离手机,通过触摸或语音指令即可唤醒豆包APP,然后使用豆包APP的功能;本质上,所有的AI功能其实是在APP端完成的,耳机只是作为一个接收APP输出音频内容信息的载体,耳机本身并没有部署端侧模型,耳机本身内置的芯片也主要是解决耳机自身音频识别、音频转码、降噪等功能,并不设计大模型的算力消耗;大致绘画一下使用过程中数据交互的逻辑如下:
用户通过声音发出语音质量,耳机通过识别传感器获取音频信息,然后将信息通过蓝牙传递给豆包APP;豆包APP将语音转文字后输入给大模型,大模型生成问答结果输出给豆包APP;豆包APP将文本内容合成为语音之后,见语音内容发送给耳机,耳机通过麦克风播放器播放声音;从目前主打的使用场景上看,其应用领域覆盖了搜索问答、教育学习、生活服务、休闲娱乐、情感陪伴着几个场景虽然目前都主打了一个单一的场景,但是相信未来官方会支持越来越多的使用场景的功能。
1.4 豆包AI耳机未来可能还会有哪些使用场景?虽然目前豆包AI耳机只是主打了几个使用场景,但是个人认为,未来AI耳机可以结合的应用场景,将会是充满想象空间的,它可以覆盖我们的生活、学习教育、商务办公等多个方面的应用。
AI耳机在生活应用场景
本地生活服务推荐:比如附近餐饮商家推荐;个人助理:比如日程安排、出行导游;休闲娱乐:包括听音乐、听资讯新闻等;出行:比如出行导航、打车等;运动健康:比如运动健身、健康咨询、生理诊断等;智能家居:AI耳机与其他智能设备无缝连接,实现语音控制和互动,可以通过耳机直接控制家中的灯光、温度和家电等设备;学习教育场景
百科问答:覆盖K12,职场等多个问答场景;口语学习:包括口语陪练,口语学习助手等;办公场景
最近个人也有留意到,豆包APP已经开始做语音录制等功能,这个能力和豆包AI耳机的应用可能存在密切的关联,或许AI耳机后续也能支持会议耳机的产品能力,以上这些场景我们可以保持期待一下。
1.5 豆包AI耳机的用户体验反馈如何?正向反馈:在接触过大部分使用过豆包AI耳机的朋友,普遍他们会表达的正向反馈主要聚焦如下3点:
1)豆包的语音功能具备不错的情感交互的体验,陪伴感比较强;
“如果你使用过 Ola friend 这款产品,就会体验到一种「aha moment」,就是那种强烈的陪伴感,就像身边有人在跟你低语交流。这种陪伴感正是吸引用户的重要特质之一”
2)佩戴轻便无感;“佩戴还很无感,从下午 3 点一直戴到晚上 9 点也没有负担,好几次走在路上没有播放声音的时候,还要手动摸一下才能确定戴着耳机”
3)超长的续航能力;“另外值得一提的还有续航表现,6 个小时中度使用,两只耳机耗电都不到 50%。同时到手体验两天多,耳机盒还有 14%的电量”
负向反馈:而从小红书等平台中可以看到,大部分豆包AI耳机的使用者,普遍反馈容易遭受环境音影响,降噪和音质效果不太好,响应慢,以及和豆包APP的连接故障等问题;
拾音效果:拾音效果还不错,语音转文字的效果是可以满足需求的;但是容易受环境干扰,不能精准识别使用用户主体,可能会让豆包误把他人的声音当作使用者的声音。实时性和流畅度:反应还比较慢,响应速度有点长;音质要求:暂时没有非常强的音质体验;降噪能力:降噪效果一般,不过这也正常,主打的是一个开放式耳机,还要支持良好的拾音效果,本来就难以和降噪的功能平衡;语音互动体验:互动体验生成的结果可能和豆包APP还有些差距;整体而言,个人认为,目前Ola Friend交付的AI耳机还是能带来一些惊喜,但是肯定还存在很多体验层面的问题,此前有些朋友反馈下单之后需要2周以上的时间才能发货,可能也因为目前还有不少问题,官方还需要加快做产品迭代和问题修复。
1.6 供应链情况圈子内的朋友可能会对豆包的供应链情况也比较感兴趣,以下针对豆包AI耳机不同的元器件的供应商和产品型号做了一下整理,信息参考来自公众号“我爱音频网”的文章,笔者非常专业,真的购买了一个耳机并详细的拆解了其中的每一个元器件,其专业程度让人佩服!
根据个人了解,目前国内外在AI硬件的上布局,主要聚焦在AI手机、穿戴类设备、教育硬件、办公硬件、智能家居和车载设备领域;其中穿戴类设备自然是受关注度最大的领域,而AI手机、AI耳机自然属于AI硬件行业领域目前最受关注的两大领域,各个领域目前的子赛道和国内外主要玩家情况如下:
1)AI手机:AI手机是目前广大消费者比较期待的AI硬件领域,继苹果不断地释放AI信号之后,我们暂时没有看到有实质性的苹果AI产品出来,反而是国内的手机最近观看了OPPO X8自带的手机AI功能后感觉开始看到一些AI手机的应用雏形,X8在一键识屏以及AI消除、去拖影、去反光等图像AI方面的表现让人焕然一新,感觉AI手机终于开始到来的感觉;不过目前大家都还是聚焦在图像和摄影领域,我们还是更期待手机AI助手和APP Agent能带来更多创新;
2)穿戴类AI硬件:赛道包括主要以AI耳机、AI眼镜、AI配饰、AI智能手表等领域,具体如下
AI耳机:Ola friend的发布,让整个投资圈和AI圈开始更加关注AI硬件领域,让大家终于看到Chatbot能够在耳机端使用,大家畅想的AI耳机终于可以落地;同时,国内像讯飞也推出了AI会议耳机,主打会议录制和会议AI助手功能;海外目前也关注到,三星也推出了AI 耳机 Galaxy Buds3 Pro;AI眼镜:在AR眼镜发展不瘟不火的同时,目前整个硬件行业大家开始把目光转移到AI眼镜上,这种在眼镜上搭配耳机,把AI眼镜和AI耳机组合在一起的感觉,让人开始真的感受到一个便携式穿戴的“第二大脑”真的可以实现;Meta和Ray-Ban联合推出的雷朋AI眼镜推出之后,让大家开始把注意力关注到AI眼镜领域,目前国内包括华为等厂商也在布局该领域并推出相应的产品,还有一些垂直创业公司像李未可、雷鸟等也在推出相应的产品;10月参加了字节火山引擎线下举办的智能硬件x大模型的线下会,上台演示的AI眼镜也不少,可见越来越多的创业公司已经开始投入该领域的产品打造;AI配饰:海外AI pin和Rabbit R1出来之后,让人看到了不一样的AI硬件产品,把AI配饰的概念也炒火了起来,作为新兴的产品,目前这两款产品在海外的用户满意度还不是很高,产品能力上被吐槽和诟病的比较多,所以激起了一定的水花但是很快又平静了,不过新兴领域就是这样,未来还是需要这些产品厂商持续的打磨产品才能交付给消费者一个满意的产品;AI智能手表:智能手表目前在国内外很多手机厂商都有布局,但是目前结合大模型的AI只能手表暂时没有看到有类似的产品,个人觉得,未来这块会是大家争先投入的领域,特别是儿童手表领域;3)AI PC:苹果和联想等电脑厂商一直都聚焦AI电脑领域有比较多的发声和畅想,我们也相信这个领域未来会是AI的重点应用方向,不过目前确实还没有看到深度结合AI的电脑终端产品出现;
4)AI教育硬件:教育硬件领域,一方面很多传统的教育硬件比如猿辅导的学练机,科大讯飞的学习机,开始结合大模型推出部分AI功能;另一方面,AI玩具现在也是很多创业公司投入的应用领域,包括机器狗,甚至连AI盆栽、AI玩偶都有,产品主打益智和陪伴价值;
5)AI办公硬件:除了教育,办公也同样是硬件集中地,围绕办公领域的AI硬件目前比较少,暂未看到太多知名度较高的产品出来;
6)AI智能家居:**这块目前主要还是以AI音箱为主,主要玩家还是传统智能音箱的那些玩家,包括天猫精灵,以及亚马逊Echo;
7)AI车载设备:最后一个领域的AI车载设备,目前国内像蔚来、理想汽车等都有推出相应的AI车载结合硬件,同样海外像奔驰、大众,也有相关的应用案例;
3.2 AI硬件行业动态情况1)AI Pin和Rabbit R1
AI硬件最早爆火的产品,是2023年底美国Humane公司在世界移动通信大会上发布的AI Pin,用户将其别在衣服上,将画面投影在手掌上,用语音进行控制。
AI Pin定价699美元,发布一个月内,预定量就超过了450万台。然而, AI Pin的实际效果却不尽如人意,存在反应慢、交互体验差、续航差等诸多问题,很快跌落神坛,产品退货量甚至超过发货量。
与AI Pin类似的还有曾在百度智能硬件负责人吕聘创立公司Rabbit推出的R1,用户只需要通过和巴掌大小的R1进行语音交流,即可调用手机上所有APP。产品定价199美元,发布一周,预售量达4万台,几个月内销售量破10万台。然而,R1很快也受到套壳安卓、续航差、基础功能缺失、幻觉严重等质疑。根据今年10月吕聘的采访可以推断,Rabbit R1正常的双日活仅有5206,相较于销量并不理想。
AI Pin和Rabbit R1均采用了全新的硬件形态,也可以被称为是AI Native的硬件产品。全新的形态虽然在初期极大吸引了消费者的兴趣,但一旦出现Over Promise和Under Deliver的问题,很快就会被消费者抛弃。
2)Ray-Ban Meta智能眼镜
在这一点上,Meta则选择了不同的解法。
2023年9月,Meta与 Ray-Ban联手推出智能眼镜Ray-Ban Meta,用户可以通过眼镜拍摄照片与视频、接听电话以及播放音乐,并可以通过语音和简单的手势来控制设备。
Ray-Ban Meta起售价为299美元,相较于Ray-Ban的传统眼镜产品并不昂贵。
仅2023年第四季度,Ray-Ban Meta出货量就超过30万副,直到目前累计出货量已超百万。而今年9月份Meta发布的与视觉AI模型相结合的AR眼镜Meta Orion则再度引爆舆论,以至于很多人纷纷认为眼镜将是AI硬件的最佳形态。
3)AI车载设备
高通推出支持生成式 AI 的数字座舱
展会期间,高通通过骁龙数字底盘概念车,展示了骁龙座舱平台的传统 AI 和生成式 AI 能力,涵盖数字座舱、车联网技术、网联服务、先进驾驶辅助与自动驾驶系统等多个方面。
对于复杂的大模型而言,单一在云端运行的 AI 存在高成本、高能耗和隐私安全等问题。
高通通过兼具高性能和低功耗的平台,将终端侧生成式 AI 能力带进座舱,为座舱提供强大、高效、私密、更安全和更个性化的车载交互体验。
自驾出游前不再需要做复杂的攻略,数字助手能够根据我们的出行偏好规划一趟完美的行程;碰到如何换轮胎、安装婴儿安全座椅这些问题,无需翻出上百页的用户手册查找答案,AI 助手能通过对话指导你完成;它还能告诉你仪表盘上突然出现的警示灯代表什么,帮你预约最近的服务中心检测维修。
值得一提的是,高通还为两轮车、电动踏板车等新型车辆细分市场推出了骁龙数字底盘,提升车辆安全性、连接、信息娱乐、辅助系统(ARAS)和个性化云连接等方面的体验。
梅赛德斯奔驰
与 Open AI 合作开发车载语音助手宝马与亚马逊合作推出 Alexa 大型语言模型,而梅赛德斯奔驰正在与 OpenAI 合作车载语音助手——MBUX AI。
作为 MB.OS 的一部分,MBUX 引入的语音助手能够提供基于上下文的建议,并与用户进行对话;它能够基于情境给出建议,主动提问,更清楚地了解用户所询问的内容。
它还可以根据驾驶员的心理状态来调整其回答问题时的语气,比如,如果驾驶员的心情沮丧,那么它的提示和反应将更短、更直接;而如果驾驶员心情好,虚拟助手的声音会更愉快,更健谈。
自查功能,可以对语音助手的回答进行合理性检查。例如,当它推荐的餐馆或商店关闭时,语言助手将通过云数据或者客户的陈述来进行复查。
大众汽车
与 Cerence 合作开发车载语音助手在 AI 的加持下,汽车已经成为对话伙伴。
大众汽车在 CES 2024 期间表示,计划在二季度推出首款大模型汽车,整合了 ChatGPT 的语音助手,将在汽车行驶过程中识别并响应驾驶员的一系列需求。
其语音助手「Hello Ida」将整合 ChatGPT 的大模型能力,在汽车行驶过程中识别并响应驾驶员的一系列需求。
新的由大模型加持的车载语音助手将登陆 ID 4 和 ID 7 两款新能源汽车。方案由 Cerence 协助完成,相比之前的语音交互体验,大模型加持的语音助手应用范围更广、更自然。
4)AI智能家居
三星家居全家桶:冰箱、吸尘器、洗衣机、电视,还有投影机器人,通通 AI 加持三星在 CES 展前发布会上,展出了多款 AI 加持下的家居新品,展示了「AI for All」的决心。可以识别食物种类,并制定菜谱的四门 Flex 冰箱。AI 物体识别、AI 地板检测技术加持下的 Jet Bot Combo 真空吸尘器,能够更大力度减轻我们的清扫工作。QLED 8K 电视,也已支持上 AI 音频转字幕,并可通过 AI 分析环境声,提升影音体验。萌萌的 Ballie 投影仪机器人,真 AI 伴侣,能自动帮你投喂宠物,执行视频通话,甚至投影出健身教程。Displace:全球首个购物电视,自动分析商品,自动加购物车,**在国内已有不少视频应用,支持通过图片识别技术,一键定位剧中好物。但电视厂商 Displace 似乎觉得,这还不够便利!在 CES 2024 期间,Displace 直接带来两款极度方便剁手党的电视新品 Displace Flex 和 Displace Mini。两台电视都内置有 AI 加持下的 Displace Shopping 服务。当用户观看电视发现心头好物时,只需使用手势就能即刻暂停画面,自动分析商品。并且,秉承极致便利原则,Displace Shopping 可直接将商品加载至购物车。按照这个逻辑,看完电视,再刷刷满满当当的购物车,也是件很愉快的事儿。5)AI眼镜
雷鸟:大模型加持的轻量级 AR 眼镜,国内 AR 厂商雷鸟科技,在 CES 2024 上发布了新款 AR 眼镜雷鸟 X2 Lite。AI AR 是这款眼镜,主打功能亮点。和早先发布的雷鸟 X2 一样,雷鸟 X2 Lite 也内置了大模型语音助手 Rayneo AI。Rayneo AI 可实现多轮自然语言对话、行程规划、便捷百科问答、头脑风暴等多项能力。同时,雷鸟 X2 Lite 也支持 AI 辅助翻译、3D 空间导航、第一人称视角影像创作等功能。Solos:ChatGPT 协助翻译的音频眼镜:智能眼镜公司 Solos 亮相了其去年上新的一款搭载 ChatGPT 的新品 Solos AirGo 3。Solos AirGo 3 核心功能即实时翻译。搭配有应用软件 SolosTranslate,进而可透过 ChatGPT 翻译眼镜所拾取的声音。并且,Solos AirGo 3 还可以提供不同的场景模式,比如一对一对话模式,就非常适合与人面对面交流时使用。3.3 智能耳机行业市场规模情况1)全球市场规模情况:根据沙利文白皮书报告分享,2023年全球耳机零售量5.1亿副,其中开放式耳机3000万副,开放式耳机占比6%;预计2028年全球耳机规模7.6亿副,开放式耳机5400万副;
2)国内市场规模情况:根据智研瞻公开分享数据,2023年中国智能耳机的市场规模为144亿,年复合增长率在15%左右;
3)开放式耳机市场规模:作为智能耳机的一个重要分支,开放式耳机近年来也表现出强劲的增长势头,特别是在华南和华中地区,开放式耳机的出货量在2023年达到了652万台,同比增长130.2%;目前开放式耳机在智能耳机中的渗透占比大概是7%左右,其中70%的开放式耳机是骨传感形式的耳机;
3.4 智能耳机类型划分智能耳机行业可根据不同的分类标准进行划分,涵盖连接方式、使用方式、消费场景、价格段:
1)按照连接方式连接方式上,包有线耳机和无线耳机,其中无线智能耳机成为市场主流,无线耳机中TWS蓝牙耳机独占66%市场份额,展现真无线立体声设计和多样化智能功能,颈戴式、头戴式和项圈耳机分别占据约15.2%、8.6%和7.6%的市场。
2)按照佩戴方式包括入耳式、半入耳式、挂耳式,入耳式耳机因紧贴耳道带来震撼音质,半入耳式设计舒适适合长时间佩戴,而挂耳式则平衡了舒适与牢固,挂耳式也就是OWS(开放式耳机),2021年,“Oladance”创始人李浩乾(前BOSE高管)在TWS行业峰会上首次提出“OWS”概念,即“Open Wearable Stereo(开放式无线音响)”,至此,开放式耳机行业进入发展期。具体来说,开放式耳机采用不入耳的佩戴设计,是让用户听见耳机内声音的同时能够感知到周围环境的无线蓝牙耳机。开放式耳机主要由骨传导和气传导两种技术组成,根据沙利文白皮书相关报告,开放式耳机中,目前有70%的耳机采用的是骨传导形式,30%采用气传导方式;
3)按照使用场景包括消费级、商用级、工业级使用场景,其中消费级产品包括娱乐消费耳机(听音乐、看电影等)、商务耳机(开会议、通电话)、运动耳机等;
4)按照价格段划分
低端耳机:价格区间在0-199元,竞争非常激烈,这一价格段主要面向入门级用户或追求性价比的用户,产品多以入耳式或有线耳机为主,音质和功能相对基础,满足日常简单的听音需求。中低端耳机:价格区间在200-499元,数量较多,普及型耳机市场的主要价格段,这一价格段产品在功能性上有所提升,许多耳机配备了降噪、语音助手等功能,适合对音质和功能有一定要求的用户,尤其是蓝牙真无线耳机逐渐普及;中端耳机:价格区间500-999元,产品数量适中,以知名品牌为主,这个价格段的耳机在音质、降噪和舒适性上都有较好的表现。以真无线和入耳式耳机为主,适合对音质有较高要求的用户,产品在功能、续航和外观设计上都更加均衡;高端耳机:价格区间1000-1999元,数量相对较少,但品牌覆盖度较广,高端耳机价格段多用于真无线、头戴式降噪等高音质、功能性强的耳机,产品品质、音质、降噪效果突出,适合追求较高听觉体验和品质的用户。示例品牌包括:超高端耳机:2000元以上,数量少,主打高端市场;3.5.智能耳机产业链分析和核心玩家上游环节:
原材料供应商包括芯片(如主控蓝牙芯片和存储芯片)、电子元器件(包括传感器和MEMS麦克风等)、电池以及外壳、耳塞等零部件。这些组件是智能耳机实现无线连接、数据处理和各种功能(如噪音消除、语音助手集成)的基础。
上游耳机主控蓝牙芯片厂商包括BES恒玄、Bluetrum中科蓝讯、JL杰理等; MEMS麦克风厂商包括敏芯微电子、意芯微电子等;耳机电池厂商包括VDL紫建电子、HJ弘捷等;其他传感器厂商包括SHOUDING首鼎、PinTeng品腾等;电源管理芯片厂商包括Injoinic英集芯、金宇宙等;无线充电接收芯片厂商包括Prisemi芯导科技、COPO酷珀微等;充电盒电池厂商包括众旺德、EVE亿纬锂能等;
中游环节:
则涉及整机制造和封装,代加工厂商包括天键股份、奥尼电子等厂商;
下游环节:
则主要由品牌厂商和销售渠道构成,直接面向终端消费者。品牌厂商如华为、小米、OV、苹果、Beats、sony、bose、JBL、漫步者、海能达等,新兴品牌商包括Oladance、Shokz韶音、Cleer等;在无线耳机市场上,苹果、华为和小米三大品牌占据了前三名的位置,合计市场份额达到32.8%。华为耳机凭借出色的用户口碑与媒体评价,在2021年中国十大耳机品牌评选中荣登榜单。国产品牌的竞争力也在不断增长,多个中高端国产耳机品牌如QDC、达音科、TANCHJIM、HIFIMAN等在发烧友中获得认可。
4.2 消费者对开放式AI耳机的进阶诉求语音互动能力:能更“聪明”、更实时的和用户语音互动,是AI耳机的关键诉求之一,这是AI耳机最关键的能力;音质要求:包括高保真、低迟延、高流畅度、低音效果、个性化调节的需求,特别是发烧友用户,对音质有更加严苛的追求;拾音效果:与传统智能耳机以输出为主不同,AI耳机需要支持灵敏的语音输入,所以需要具备灵敏的拾音效果,且最好能支持自动增益,准确识别使用者的声音,避免受到环境音的干扰;智能降噪能力:对开放式的耳机而言,降噪是一个短板,所以用户更容易提出智能降噪的需求,包括能够支持智能过滤环境音,甚至对于部分不应该降噪的声音可以做到不被降噪,例如消防车声音;记忆存储和录制能力:用户也期望耳机能够具备记忆存储和录制的能力,从而支持语音录制的功能;、4.3 豆包AI耳机目前在消费者诉求上的满足情况综合以上用户对于AI耳机的需求的衡量因素,整体上看,目前豆包AI耳机在语音互动、舒适度、续航能力等方面基本可以满足用户需求,但是在音质,降噪能力等方面还不足,整体定价也高于消费者预期;
2)字节的语音技术能力情况
强大语音识别能力:支持中文普通话、方言混合、语种混合能力;智能降噪能力:支持回声消除、背景音一直、自动增益(自动识别说话人的声音并强化该声音,弱化其余声音)智能打断:支持语音随时打断,交互更加流畅、自然、拟人化;八、结尾OK,至此关于字节豆包AI耳机的分析大致写完了,老实说这是第一次这么系统的去关注和分析一个硬件产品,当然这个过程中也借此接触和了解到了更多硬件、语音等相关的技术,对我个人而言还是很有帮助的,希望同样也能帮助到大家,个人相信,未来AI硬件也能像软件一个,用AI把整个硬件行业重新再做一遍,对于消费者而言,我们可以享受更多的科技成果,我们拭目以待!
作者:三白有话说,公众号:三白有话说
本文由 @三白有话说 原创发布于人人都是产品经理。未经作者许可,禁止转载。
题图来自Unsplash,基于CC0协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。
相关文章
猜你喜欢