AI玩具加速发展如何筑牢安全红线

美国CNBC网站近日报道称，美国公共利益研究小组（PIRG）11月发布的一份报告显示，AI（人工智能）玩具创业公司FoloToy旗下的AI玩具泰迪熊“Kumma”，在测试中不仅对涉及性、毒品等敏感话题“侃侃而谈”，还会向儿童给出如何点燃火柴或找刀具的指示。据悉，该玩具内置OpenAI最新模型GPT-4o。然而，这并非孤例。随着AI玩具市场持续增长，其潜在的内容安全与隐私风险已引起广泛警觉。那么，AI玩具为什么会爆出安全问题？玩具厂商应该实施哪些保护措施？国内AI玩具公司是否已建立相应机制？围绕上述问题，《环球时报》记者采访多家玩具企业。

美国CNBC网站报道称，PIRG报告发布后，FoloToy迅速下架这款99美元的泰迪熊及其余AI玩具，着手实施以安全为核心的软件升级。OpenAI随后也宣布，暂停该公司的模型访问权限。经过严格审查、测试及安全模块强化后，FoloToy近日在社交平台X上宣布已重新上架产品。

《环球时报》记者查阅FoloToy官网看到，重新上架的版本已改用字节跳动旗下的Coze（扣子）平台。网页将该款AI玩具泰迪熊“Kumma”，描述成“将先进的人工智能技术与友好互动功能完美结合，成为孩子与成人都喜爱的理想伙伴”。

“OpenAI的GPT-4o已成为一些人工智能玩具的首选模型。”美国有线电视新闻网（CNN）针对FoloToy的“泰迪熊事件”分析称，在儿童玩具中使用大型语言模型引发了安全问题，即儿童是否应该接触这些玩具，以及玩具制造商应该实施哪些保护措施。

“泰迪熊事件”也在中国AI玩具行业引发警惕。AI潮玩品牌珞博智能（Robopoet）合伙人兼首席营销官朱亮在接受《环球时报》记者采访时表示，此事给行业内企业敲响了警钟，“一个很小的技术故障，可能就会导致一个大的安全事件，涉及数据安全和用户隐私，从来没有小事”。珞博智能成立于 2024 年。在2025年世界移动通信大会上，该公司发布了一款毛绒包挂形态的AI潮玩“芙崽”，搭载豆包、DeepSeek等国产大模型，主要瞄准Z世代女性，能够和用户实时对话。

“依托合规的国内大模型，这类风险在我们产品体系中大概率不会出现。”2023年成立的AI 玩具企业跃然创新（Haivivi）目前主要做儿童陪伴AI玩具产品，该公司市场部总监钟文杰接受《环球时报》记者采访时表示，跃然创新同样接入了豆包、DeepSeek等国家备案合规的大模型。而在此基础上，公司针对玩具产品训练的“小模型”也有自己的“数据银行”，此外还设置了“数字安全围栏”和“防火墙机制”，形成三重防护。当儿童与玩具聊天时，若提及敏感或不适龄话题，系统会实时触发“防火墙”，通过引导式对话转移话题方向。

朱亮也证实，AI玩具在大模型训练阶段，就会筛选知识库，所有涉及暴力、色情、危险行为等内容，比如教唆去放火这类的违规内容，都不可能进入库中。在与用户实时交互过程中，珞博智能也有自研的“敏感词过滤系统”，“比如一些脏话等不合适内容，AI玩具是不可能播放出来的”。针对安全突发事件，公司也有7×24小时响应机制，24小时之内进行跟进处理。

朱亮进一步向记者表示，针对人工智能玩具的安全防护不是一次性工程，需要持续迭代追踪，“很难有公司承诺完全不出安全方面的问题，核心还是要看公司的理念。如果认为用户的信息安全很重要，那就会在安全防护上做很大的投入”。

2025年，AI+“情绪价值”成为新消费领域重要增长点。淘宝天猫玩具发给《环球时报》的数据显示， 从搜索趋势看，AI玩具类日均搜索量在第四季度相较第一季度增长超过10倍。从第一季度至今，AI玩具月度环比增速始终保持在双位数高位，今年“双11”大促期间环比增速更是接近100%。

中国工业和信息化部最新发布的统计显示，2024年我国AI玩具市场规模约246亿元，预计2025年全年将增至290亿元。这意味着，2025年AI玩具的市场规模将同比增长18%。

美国《麻省理工科技评论》报道称，截至2024年底，中国有超过1500家人工智能玩具公司在运营。报道引述深圳市玩具行业协会等最近发布的报告预测，到2030年，AI玩具的全球市场规模将破千亿元人民币，增速几乎超过任何其他消费型AI领域。

在跃然创新市场部总监钟文杰看来，2024年是“AI玩具元年”。在此之前，AI玩具尚未形成流行趋势，而今年年初 DeepSeek的技术热度、年中泡泡玛特旗下潮玩IP拉布布的消费热潮，分别从技术端和市场端推动了行业爆发。

在AI玩具快速发展的同时，关于数据安全、数据隐私等问题日益引起重视。在中国工信部11月19日举行的新闻发布会上，消费品工业司司长何亚琼在回答记者提问时特别提及AI玩具的数据安全、网络安全等问题，并表示将会同相关部门加强研判，在指导玩具企业加强技术防护的同时，适时研究制定相关标准，切实保障AI玩具质量安全和数据隐私安全。

在数字安全方面，AI玩具行业内普遍遵循的原则是“最小收集原则”。2021年11月1日起施行的《中华人民共和国个人信息保护法》第六条规定，处理个人信息应当具有明确、合理的目的，并应当与处理目的直接相关，采取对个人权益影响最小的方式。收集个人信息，应当限于实现处理目的的最小范围，不得过度收集个人信息。

钟文杰告诉《环球时报》记者，跃然创新旗下的AI玩具有“成长报告”功能，会基于儿童与玩具交流的数据进行分析整理。根据“成长报告”，家长可以关注到孩子近期的情绪波动、兴趣爱好、表达能力等，从而帮助家长更好地掌握孩子的成长动态。但他强调，“在软件层我们收集的各类信息与数据，事先都需经过用户及家长同意，家长也可以选择关闭相应权限或服务”。

钟文杰也提到数据存储与云端安全，目前其用户数据主要存储在公有云，而非企业自有服务器，从源头降低了数据泄露风险。

“在数据安全方面，我们坚持的也是‘最小收集原则’。”珞博智能合伙人兼首席营销官朱亮表示，“用户的对话数据等信息全都存储在云端并被加密。”据她介绍，珞博智能公司内部也有用户信息隔断措施，不同玩具之间的数据是不会有交叉的，本地也只保存少量的核心交互或用于驱动“芙崽”的数据，“本地数据在用户设备上，只要设备不被他人获取，其中的内容便无法被他人知晓”。

除上述措施外，朱亮认为，安全不光涉及对话或数据隐私层面，在用户使用安全方面，也需建立“防火墙机制”。“当用户抒发相对压抑的情绪时，我们都会及时引导用户建立正面情绪，告诉用户‘不要这么难过了’或‘快去外面看看，今天阳光明媚’。当用户出现负面情绪时，我们要正确引导，及时阻止用户不好的行为。”朱亮补充说。

“人工智能玩具风靡中国，如今它们也出现在美国的货架上。”《麻省理工科技评论》报道称，中国的AI玩具公司已将目光投向海外市场。跃然创新旗下的AI玩具BubblePal去年在美国上市，后续也将瞄准更多的海外市场。

跃然创新市场部总监钟文杰证实，计划从明年第一季度开始，公司将逐步发力海外市场，目前已经在香港与新加坡设立了公司。他告诉《环球时报》记者，公司已经开始推进海外业务的落地与扩张工作，包括营销、渠道、仓储物流等。“海外市场的核心挑战在于政策合规与本地化适配。”他坦言，为符合不同国家和地区的监管要求，跃然创新的海外版产品将调整技术合作方——底层大模型与云服务将选择海外合规企业，“确保产品从技术到服务都符合当地政策，避免风险”。

而在接受《环球时报》记者采访前一刻，珞博智能合伙人兼首席营销官朱亮还在与OpenAI等沟通海外合作事宜。“由于国内的大模型在海外无法使用，我们在海外会选择一款大模型进行合作。”朱亮坦言，从技术手段上讲，严格意义上无人能承诺百分百避免安全问题。但她认为，“我们把国内这套严格的保护模式复制到海外，未来无论接入哪家模型，整个流程中涉及的用户隐私、等级保护、安全保护等，只要我们有相应的团队去建立机制、作好响应，应该都不是什么问题”。她表示，即使使用国外的大模型，也可以结合珞博国内团队的相关安全问题处理经验，照样可以在应对国外情况时形成自己的一套处理机制。“我们会有团队专门负责沟通与部署，并可能在此之前进行前置设计。简单说，我们要做一套跟国内一模一样的安全框架搭建，才能在海外去运转产品”。

朱亮谈及接入海外大模型的成本时表示，OpenAI等收费标准确实比国内公司要高。但朱亮在调研日本市场后，感到信心十足，原因之一在于，海外用户对于软件付费或订阅有比较强的认知，可以通过收取订阅服务费来覆盖成本，“市场前期教育已经做好了，我们去之后，只需证明自己产品行就可以”。

“以玩具为代表的AI硬件正处于加速爆发状态，我们认为不论是国内还是海外，这一市场的前景都十分值得关注。”钟文杰称，行业内将AI玩具分为三个层级：第一级是桌面机器人或家庭小机器人，售价较高，技术也更复杂；第二级是以AI互动对话为核心的智能玩具；第三级则偏向AI宠物方向，弱互动对话，更加强调肢体互动反馈，以及加入了更多养成系玩法。从市场反馈看，三个层级各有受众，但第二级和第三级的用户覆盖面更广，尤其是在儿童与年轻群体中。

钟文杰补充称，明年公司将推出多个产品系列，覆盖儿童与成年人群，同时在细分市场也会有更多尝试。“面向年轻人的AI玩具市场是一个热门赛道。”他表示，能提供情绪价值的产品很容易被埋单。同时，AI玩具与银发经济的结合，比如为老年人设计的陪伴型AI产品，这一领域的想象空间同样巨大。