网易伏羲的图文生成式AI具备较好的中文理解及美观度表达能力，在做到与中国用户“心有灵犀”的工作道路上迈出了第一步。

从临近中国的兔年开始，生成式AI（又称AIGC）的发展可谓“兔”飞猛进。几乎每周都有许多新的消息和成果发布，更低的门槛和更好的效果不断冲击大众认知，让越来越多的人认知到生成式AI已经成为推进下一轮技术革新的重要动力。同时，也有越来越多的人开始思考一些问题，比如：为什么最好的生成效果不在中国？中国的生成式AI离国外有多远？要做出最好的生成式AI，除了模型，我们还需要建设哪些东西？
&nbsp;
网易伏羲作为国内首个专注数字文娱领域的人工智能研究机构，从17年成立之初开始关注生成式AI的发展和落地可能，这些问题在过去的几年内不断在团队内部被提及、讨论，并驱动一系列工作的开展和推进。本文将介绍网易伏羲对这些问题的思考，以及当前的一些进展。
&nbsp;
<h2>自然语言与生成式AI</h2>
&nbsp;
这一轮生成式AI的爆发，需要从自然语言处理技术的突破说起，17年谷歌提出Transformer架构，使得计算机可以更加高效地进行文本内容知识的学习，从而推动BERT、GPT等一些列大规模文本模型的诞生，从理解和生成的维度都获得了巨大突破。
&nbsp;
自然语言处理这门连接人类和计算机交流的基础学科，也成为驱动包括文本、图像、音频、视频、三维模型等各个维度生成式AI爆发的核心基座。一方面人们从海量的互联网数据当中整理可以用于生成式AI训练的数据，另外一方面通过自然语言来对齐各个模态的信息，使得这些知识可以互通。这也可以很好的解释为什么英文生态的公司和机构在这一轮技术热潮中更容易占据先机--当前规模最大、内容最丰富、质量最高的机器学习语料是由英文构成的。
&nbsp;
例如文本下游微调数据，英文领域有像T0-SF，Muffin等大量优质的数据集，图文领域也有像LAION-2B，MSCOCO等开源数据集。相比于国内，中文领域虽然这两年也有多个相关数据集的建设，如200G悟道文本预训练数据集，“悟空”1亿图文对数据集等，但是无论从数量还是质量上来比，与海外的数据还是存在着一定的差距。
&nbsp;
除此之外，英文生态本身也具备非常明确的先天优势，其包含了大量其他语种不具备的优质的内容。比如说全球最顶尖的学术论文、编程代码、多个行业领域的规范标准。这些构成了英文的独天得天独厚的优势，也使得基于英文生态的研究方案可以更好的去推动和落地。
&nbsp;
<h2>如何走出数据困境</h2>
&nbsp;
面对这样的数据困境，国内的研究者和机构又采取了哪些办法？归结来看大概有4种策略：
&nbsp;
1、直接用开源模型，走API翻译
&nbsp;
这可能是最直接的方案，尤其在图文生成领域，去年stable diffusion模型开源之后国内有不少创业公司尝试直接基于该模型进行适配训练和推理生成，同时利用API的翻译接口将中文的输入转化成英文实现对中文用户的支持。这条路线的好处是可以快速地将最新的英文生态的工作应用到国内。缺点也非常明显，一方面是中文翻译可能引起语义的缺失，很多英文这个领域当中常用的说法在中文当中是没有办法很好的表达的，比如说中国的许多成语以及谚语：
&nbsp;
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/fdea6a197b4f61380e02dae50109e05b.png" title="飞流直下三千尺 from MidJourney" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/fdea6a197b4f61380e02dae50109e05b.png" alt="飞流直下三千尺 from MidJourney"></div>
飞流直下三千尺
from MidJourney
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/0b0f51085d39f85bee3a6560730d2ac2.png" title="竹杖芒鞋轻胜马 from MidJourney" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/0b0f51085d39f85bee3a6560730d2ac2.png" alt="竹杖芒鞋轻胜马 from MidJourney"></div>
竹杖芒鞋轻胜马
from MidJourney
&nbsp;
海外数据的内容组成也大多由当地的人文地理，生活历史构成，对于中文的知识缺乏很好的理解，比如说中国的历史古迹、名人、美食和生活习俗。
&nbsp;
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/7157ac6967292c4b99c1840ddcc6510f.png" title="西湖断桥 from Midjourney" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/7157ac6967292c4b99c1840ddcc6510f.png" alt="西湖断桥 from Midjourney"></div>
西湖断桥
from Midjourney
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/28acfde421f7044d076f44e683cd6cdf.png" title="过桥米线 from Midjourney" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/28acfde421f7044d076f44e683cd6cdf.png" alt="过桥米线 from Midjourney"></div>
过桥米线
from Midjourney
第三点也是最核心的一点：已有开源模型数的数据据存在偏见，合规性和安全性都留有风险。举例说，这些模型在种族问题上不平等，也存在大量裸露、暴力的内容。直接将这些数据模型用于国内的生产，存在着巨大的隐患，所以从年初开始，相关部门对生成式AI的能力构成加大了审核力度。
&nbsp;
2、海外数据翻译
&nbsp;
这种方案是第一种方案的改进版。具备一定研究能力的机构，会选择将海外数据整理下来之后进行英文到中文的翻译，借助英文数据已有的成果，构建更加可靠的自有模型，目前国内有不少研究机构和企业采取了这条路线。优点是可以继承英文的丰富的数据生态，同时可以对涉黄、涉政的数据进行系统性筛选。
&nbsp;
缺点还是存在领域差异，包括对一些特定的中文表述、生态、文化习俗的缺失，以及数据本身还是带有非常强的偏见，甚至是歧视。即使去除了不合规的数据，这些隐性的问题还是很难解决的。比如“穿旗袍的女孩”，“七夕节日”等等。
&nbsp;
3、中文数据构建
&nbsp;
这是一条相对难走的道路，需要大量前期的积累。数据的整理的工作往往在短期内难以获得成效，其阶段性价值也难以衡量。但完善的高质量数据的建设，将对生成式AI后期的工作推进带来可靠的助力。所以在伏羲以往的讨论当中，这也被认定为是一条难走却又正确的道路。自建中文数据集的好处在于可以解决中文场景的一系列基础性问题，弥补模型对中文知识的欠缺，更好的去控制数据安全，从而对数据的合规性进行有效审核。
&nbsp;
国内目前也有一些做了中文数据构建的这些工作，高质量对齐数量例如coco-cn，数据量级别在十万级别，数据量较少。wukong数据集是目前较大规模的开源图文数据集，但相比海外的对标数据集目前还是存在一定差距。许多场景之下，相关的研究人员也开始呼吁国内的政府和企业可以推进高质量的中文数据集的共建，我们也看到有许多国内同行开始加入到这个行列。
&nbsp;
4、多语言兼容
&nbsp;
自建数据集虽好，但依然无法解决其他语言优质内容缺乏的问题。所以多语言兼容是目前看起来大规模预训练模型技术比较切实可行的方案。当然，这个方案目前依旧在验证当中，当前已经有一些相关的工作，通过多语言的方案，将英文场景下图文理解，文图生成功能，扩展到其他的语种中，打通了英文体系和其他语种的障碍。
&nbsp;
在ChatGPT的训练过程当中，已经体现展现出跨语言的可行性以及潜力。由于有大量的多元数据融合，目前GPT的中文能力已经比许多纯中文预训练模型更加出色。在图文生成领域，Niji模型的跨语言能力和生成效果都是不错的。
&nbsp;
<h2>伏羲的破境之举</h2>
&nbsp;
从生成式AI的整体效果考虑，伏羲选择了一条比较长期的技术路线。在兼容开源数据的同时，又分为4步推进，首先是建设高质量的大规模中文数据集；其次构建中文领域的优质理解模型；然后基于数据集和理解模型重构图文生成算法，做到语义的有效提升；最后引入专家和人类的反馈引导模型生成用户更加需要的高质量内容。
&nbsp;
1、建设大规模中文数据
&nbsp;
伏羲联合网易多个部门，包括网易雷火、传媒、云音乐等核心业务，从用户和业务维度提供对数据的理解和需求，完成对于优质数据的定义，建设包括文本质量，图像美观度，版权合规性以及伦理评估等评价标准。以此框架作为约束共同推进数据构建，同时设计了一套基于分布式任务的数据可信系统，各专家团队各自提供数据质量评审模型，完成共同打分后再交由数据治理引擎统一管理。
&nbsp;
2、构建中文领域的理解模型
&nbsp;
基于伏羲自研千亿文本模型的技术积累，“玉言”系列理解模型先后登顶知名中文榜单FewCLUE和CLUE分类榜单，在CLUE1.1分类任务排行榜(包含AFQMC[文本相似度]、TNEWS[短文本分类]、IFLYTEK[长文本分类]、OCNLI[自然语言推理]、WSC[代词消歧]、CSL[关键词识别]6个理解任务）上超过人类水平。玉言系列中的百亿生成模型与对话模型已完成开源，理解模型也会在近期开源。
&nbsp;
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/79da1fb4386945774ed9e65eaee68dd7.png" title="“玉言”系列理解模型先后登顶知名中文榜单FewCLUE和CLUE分类榜单" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/79da1fb4386945774ed9e65eaee68dd7.png" alt="“玉言”系列理解模型先后登顶知名中文榜单FewCLUE和CLUE分类榜单"></div>
&nbsp;
在文本理解的基础之上，伏羲自2021年起着力打造“玉知”多模态图文理解大模型，采用图片-文本双塔结构和模块化的训练思想，基于亿级别的中文图文数据对，先后迭代了三种规格的模型版本，在中文图文理解水平上达到业界领先水平，并具有良好的泛化性，在下游各类任务如分类，检索，推荐等方面表现优异；并且，在图文模型的预训练过程中，针对包含不同文本长度的图文对采用不同的训练策略，这使得“玉知”模型对语义具有较强的理解能力。同时，利用网易伏羲开源的EET高效推理框架，对模型压缩、算法适配、硬件底层等方面进行优化，使其推理速度提升4倍，满足了线上的高并发需求，降低了部署资源的损耗。
&nbsp;
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/90c5266820f17924da9c4444f47b26ec.jpg" title="在业务数据集的zero-shot评测中 “玉知”多模态理解大模型优于Chinese-CLIP的CN-CLIPViT-H/14" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/90c5266820f17924da9c4444f47b26ec.jpg" alt="在业务数据集的zero-shot评测中 “玉知”多模态理解大模型优于Chinese-CLIP的CN-CLIPViT-H/14"></div>
在业务数据集的zero-shot评测中
“玉知”多模态理解大模型优于Chinese-CLIP的CN-CLIPViT-H/14
玉知模型也成功在网易的多个业务中得到验证，如网易新闻和网易云音乐的搜索、推荐、智能标注等场景。网易新闻通过图文大模型构建的图文内容表征，在推荐环节采用基于该图文向量的dropoutnet召回优化，对召回源、列表页视频试投、列表页试投整体等效果明显改进，实现视频和整体大盘的业务指标提升，已在线上业务中落地使用。网易云音乐通过图文大模型构建的内容表征引擎和内容相似检索引擎，已成功应用于云音乐视频、长音频、广告等多个内容业务，对内容冷启动效率、CTR预估模型等，带来显著的线上收益。同时进一步联合华为团队，充分分析互联网行业数据集特性，对多模态模型结构进行优化，优选合适编码器并采用多阶段训练模式，共建玉知-悟空模型，进一步构建伏羲在中文跨模态理解领域的领先优势。
&nbsp;
3、图文生成算法重构
&nbsp;
在图文理解预训练模型的基础上，伏羲进一步推进自研文图生成模型——“丹青”的研发，一种语义增强的文图生成扩散模型。依托于扩散模型的原理，在广泛的（8亿）图文数据上训练以达到较好的生成结果。不同于常见的基于扩散模型的文图生成方法，伏羲自研的模型还具备以下特点：
&nbsp;
①模型创新：文图生成的语义能力，非常强依赖对用户输入文本的表征能力，依托于伏羲自研的”玉知”模型在中文语境下的表征能力，自研生成模型在中文场景下具有的超强语义表征能力。此外，伏羲自研模型还侧重文本与图片交互的，强化了在文图引导部分的参数作用，能够让文本更好地引导图片的生成，因此生成的结果也更加贴近用户意图。
&nbsp;
②图片多尺度的训练：在广泛的数据集中，自研模型在充分考虑图片的不同尺寸和清晰度问题，将不同尺寸和分辨率的图片进行分桶，从而进行的多尺度训练。在充分保证训练图片训练的不失真的前提下，保留尽可能多的信息，自研模型能够适应不同分辨率的生成。
&nbsp;
③数据策略：多阶段的训练能够保证模型既具有广泛性，又保证生成结果的质量。初始阶段，使用亿级别的广泛分布的数据，让模型不仅在语义理解上具有广泛性，可以很好的理解一些成语，古文诗句，例如夫妻肺片，名花倾国等等。同时在生成的画风上也具有多样性，可以生成多种风格。在之后的阶段分别从图文关联度，图片清晰度，图片美观度等多个层面进行数据筛选，以优化生成能力，生成高质量图片。
&nbsp;
<ul>
<li>中文场景下超强的语义理解能力：能够充分理解用户的输入，并且返回给用户想要的东西。尤其在成语，俗语，诗句的理解和生成具备一定优势：</li>
</ul>
<div class="media-wrap image-wrap"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/97c71e3a9426fe6d77d0c271e4a3eea1.png" title="中文场景下超强的语义理解能力" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/97c71e3a9426fe6d77d0c271e4a3eea1.png" alt="中文场景下超强的语义理解能力"></div>
<ul>
<li>风格的多样性&amp;纯正性：覆盖的风格广泛，例如年轻人热爱的二次元，动漫风格，传统的山水国画风格，以及知名画家的特殊风格等：</li>
</ul>
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/8335113bd02f8e7c33f8cd9dd785fc75.jpg" title="风格的多样性&amp;纯正性" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/8335113bd02f8e7c33f8cd9dd785fc75.jpg" alt="风格的多样性&amp;纯正性"></div>
<ul>
<li>中文场景的领域优势：善于生成中国元素的作品，例如宋代美女，传统佳节等场景：</li>
</ul>
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/f1d94b71a119c29d68483c83fb674b57.jpg" title="中文场景的领域优势" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/f1d94b71a119c29d68483c83fb674b57.jpg" alt="中文场景的领域优势"></div>
&nbsp;
4、人机协同增强的数据闭环
&nbsp;
依赖于机器进行数据筛选，不可避免存在诸多缺陷和不完美。依托于网易伏羲的aop众包能力，我们从不同角度引入了人工。在训练阶段，人工从多个维度的评估，筛选出来大批高质量图文匹配、高美观度数据，以补足自动流程缺失能力，帮助基础模型获得更好的效果。同时，我们在模型的生成阶段，也引入人工的反馈，对模型的语义生成能力和图片美观度进行评分，筛选出大批量优质生成的结果，引入模型当做正反馈，实现数据闭环。更好提升了模型的理解能力和生成能力。
&nbsp;
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/d5a9d9ba58470bb2d21ca2abd450d552.png" title="人机协同增强的数据闭环" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/d5a9d9ba58470bb2d21ca2abd450d552.png" alt="人机协同增强的数据闭环"></div>
&nbsp;
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230413/80c13e65808f591fbb22eac9f5e466d9.png" title="人机协同增强的数据闭环" src="https://static.fuxi.netease.com/fuxi-official/web/20230413/80c13e65808f591fbb22eac9f5e466d9.png" alt="人机协同增强的数据闭环"></div>
&nbsp;
<h2>后续工作与展望</h2>
&nbsp;
以上四个维度的建设，使得网易伏羲的图文生成式AI具备较好的中文理解及美观度表达能力，在做到与中国用户“心有灵犀”的工作道路上迈出了第一步。生成式AI技术革新的序幕刚刚开始拉起，随着生产力的不断释放和新的开源生态建立，在联通算法、数据、算力和人的工作上还有很多事情要做。除了持续优化生成效果，对于AI在将来工作流当中的价值、已有知识产权的保护、AI伦理的规范遵守等一些问题，也需要持续的思考和完善。
&nbsp;
目前，网易伏羲正在推进中文领域的生成式人工智能平台-“丹青约”的建设，并携手集团内部生态共同参与艺术风格和算法模型的设计和训练。为行业用户提供高效微调适配、低成本模块化推断、开源生态快速集成、生成模型定制加速等完整解决方案，为艺术家们提供更加灵活的生产力工具，寻找更新的艺术形态，为推动中文语义理解和科技创新注入新的力量。

​网易伏羲：让生成式AI与中国用户心有灵犀

人工智能竞赛NeurIPS 2022 MineRL BASALT Competition公布了最终结果，网易伏羲凭借在所有竞赛任务上的出色表现，在历时三个月的严格评审环节中脱颖而出，夺得了冠军。

近日，一项以拟人化为目标的人工智能竞赛NeurIPS 2022 MineRL BASALT Competition公布了最终结果，网易伏羲凭借在所有竞赛任务上的出色表现，在历时三个月的严格评审环节中脱颖而出，夺得了冠军。网易伏羲作为游戏人工智能领域的专业研究机构，一直在开展游戏机器人拟人化的课题研究和业务落地。在许多游戏场景中，非玩家角色（Non-Player Character，缩写NPC）是否拟人，是否能够呈现出人类的行为和情感特征，往往会对玩家和游戏本身产生重要的影响。拟人化的非玩家角色可以：
<ul>
<li>使游戏的世界更加真实和具体，让玩家更好地理解游戏中的游戏机制和规则，提升游戏的沉浸感。</li>
<li>使玩家更容易与游戏中的角色产生情感共鸣，增加游戏的参与度。</li>
<li>让玩家获得更多的乐趣和成就感，提升游戏的内在价值和吸引力。</li>
</ul>
例如，即将公测的网易旗舰级武侠MMORPG逆水寒手游引入了全新的智能NPC系统，让玩家能和不同性格的NPC进行开放式的互动，打造了一个极具武侠江湖气息的世界，在内测期间广受好评。
正是基于拟人化课题的重要研究价值和业务价值，网易伏羲参与了此次MineRL BASALT竞赛。MineRL BASALT竞赛的全称为The MineRL Benchmark for Agents that Solve Almost-Lifelike Tasks Competition，本届比赛由主办方MineRL Labs依托于全球最具影响力的人工智能学术会议之一NeurIPS举办。竞赛要求每支参赛队伍提交能像人一样完成（甚至比人类更精专）四项Minecraft（我的世界）游戏任务的智能体（Agent），这些任务包括：
<ul>
<li>FindCave（图1）：在世界中漫游并寻找山洞，找到之后进入山洞。</li>
<li>WaterFall（图2）：找到合适的山顶位置造一个美丽的瀑布景观，然后走到低处欣赏瀑布。</li>
<li>AnimalPen（图3）：建造一个紧邻村落房屋的篱笆围栏，然后在世界中找到至少两只相同种类的小动物，并将它们引导到篱笆内。</li>
<li>VillageHouse（图4）：于所在的村落附近选择一块合适的空地，建造一个与村落建筑风格一致的房子，再绕房子一圈欣赏建造成果。</li>
</ul>
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230316/cabab2551118ac881294e210b696e78d.png" title="Minecraft游戏任务的智能体" src="https://static.fuxi.netease.com/fuxi-official/web/20230316/cabab2551118ac881294e210b696e78d.png" alt="Minecraft游戏任务的智能体"></div>
MineRL BASALT竞赛所提出的这些任务更加贴近人类的生产、生活，鼓励更加拟人化的智能体。然而，像人与否或者说拟人程度是一个较为主观的概念。毕竟，瀑布景观是否美丽、房子是否精美、建造过程是否合理等问题很难通过某种客观指标去精确刻画。因此，与以往的人工智能竞赛不同，MineRL BASALT竞赛并不以某种既定的指标来衡量参赛队伍的成绩，而是通过人类专家评审的方式来比较参赛队伍所提交智能体的优劣。
竞赛主办方为参赛者提供了650GB的专家数据集用以算法训练，每一条专家数据包含一段视频以及对应的动作序列。此外，主办方还提供了OpenAI发布的VPT（Video Pre-Trained）模型，允许参赛者基于该模型进行算法训练。尽管没有对参赛者采用何种技术做出限制，竞赛主办方更希望参赛者能从人机协作的角度，以Learning from Human Feedback为指导思想来创造更加智能的AI程序。为此，主办方给参赛者设置了不少挑战：
<ul>
<li>不提供Minecraft环境的内部状态（例如：位置坐标、地形地貌信息），只提供游戏画面作为智能体的观察输入，同时也不提供任何奖励信号。</li>
<li>在对参赛者的方案进行复现的验证阶段，参赛者提交的算法只能利用6核CPU、56GB内存、单张K80显卡进行训练，并且训练时间只有4天。</li>
<li>允许参赛者采用自己的数据训练模型，但数据总量不能超过30M。</li>
<li>允许利用公开的预训练模型，但模型总大小不能超过30M（VPT模型除外）。</li>
</ul>
这些限制尽管给参赛者带来极大的挑战，但在现实场景的应用中却非常普遍，这也进一步表明了利用人类知识或反馈来辅助算法模型训练的必要性。网易伏羲遵循了人机协作的训练范式，所采用的解决方案融合了方法和人类先验，利用二者各自的优势对彼此进行互补。经过分析，网易伏羲团队发现竞赛所要求的四项任务都可以拆分为两个部分：
<ul>
<li>人类无法准确（用代码）描述怎么做的部分，主要是一些识别任务，如：如何在游戏画面中识别出山洞，如何识别出一块放置瀑布的地方。</li>
<li>人类可以准确描述怎么做的部分，主要是一些可以流程化的任务，如：导航到发现的山洞，放置瀑布。</li>
</ul>
对于识别类的任务，团队采用了“自动样本生成→人工样本标注→分类/识别模型训练→模型自动标注→人工检验→模型修正”的人机协作训练方法。其中，“模型自动标注→人工检验→模型修正”的过程会反复循环执行，直到分类/识别模型的效果符合预期。对于流程化的任务，团队采用了一种游戏AI开发中常用的方法——有限状态机（Finite State Machine，FSM）来将人类先验知识转化成代码。图5展示了网易伏羲所采用方案的总体框架。
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230316/fba1ba083e91c606539f32c24a7b350e.png" title="网易伏羲所采用方案的总体框架" src="https://static.fuxi.netease.com/fuxi-official/web/20230316/fba1ba083e91c606539f32c24a7b350e.png" alt="网易伏羲所采用方案的总体框架"></div>
图6到图9分别展示了网易伏羲竞赛方案在四项任务中的最终效果。可以看出由人机协作方案训练出的智能体在FindCave任务中可以准确识别出山洞，在WaterFall任务中能够在山间选一个合适的位置放置瀑布并造出水帘洞效果，在AnimalPen任务中能在地上挖坑防止小动物跑掉，在VillageHouse任务中还能在误入山洞之后破土而出再进行房屋建造，最终效果如图6-图9所示：
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230316/71ca1d6e637782a7e561284968b43cbc.png" title="最终效果如图6-图9" src="https://static.fuxi.netease.com/fuxi-official/web/20230316/71ca1d6e637782a7e561284968b43cbc.png" alt="最终效果如图6-图9"></div>
本次竞赛中网易伏羲所开发的解决方案基于网易伏羲自主研发的网易有灵机器人平台实现。网易有灵机器人是网易伏羲推出的人机协作线上任务平台（以下简称“平台”），支持用户快速建模、发布和运营可由机器与人协作完成的任务。平台的基础是网易伏羲基于MDP(Markov Decision Processes,马尔可夫决策过程)、POMDP(Partially Observable Markov Decision Process,部分可观察马尔可夫决策过程)等数学模型设计的全新编程范式——AOP（Agent-Oriented Programming，面向智能体编程），其核心价值在于为对接机器（或AI）和人工提供了统一的规范接口和服务。
图10展示了网易有灵机器人平台的整体架构，基于AOP的编程范式，平台主要包含了AI能力系统、众包平台和低代码平台。其中，AI能力系统集成了网易伏羲在机器学习算法和模型训练方面的多年积累，众包平台为AI能力系统中算法模型的训练提供源源不断的高质量数据，低代码平台支持学习任务和众包任务的快速构建和发布，并能将样本生成、数据存储、模型训练、模型部署进行串联，形成自动闭环。
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230316/a93ca14e93ce5c2d32bad489c2d37da8.png" title="网易有灵机器人平台整体架构" src="https://static.fuxi.netease.com/fuxi-official/web/20230316/a93ca14e93ce5c2d32bad489c2d37da8.png" alt="网易有灵机器人平台整体架构"></div>
以本次MineRL BASALT竞赛为例，网易伏羲所采用的人机协作模型训练方法在“人工样本标注”和“人工检验”阶段将相应的众包任务通过低代码平台发布到众包平台中，而经过人类标注的数据再通过AOP规范化接口输入到AI能力系统中，喂给机器学习算法进行分类/识别模型的训练和修正。值得一提的是，众包数据的质量直接影响着模型训练的效果。
伏羲网易有灵众包平台提供了基于用户画像的区间估计、真值推断等自动质检功能，在降本增效、缩短标注周期、保证质量等方面都有一系列的前沿算法举措，同时也是目前市面上唯一可以支持实时人机交互标注方式的众包平台。也正是得益于网易有灵机器人平台提供的能力支撑，网易伏羲才能在短时间内完成人机协作模型训练方案，克服本次MineRL BASALT竞赛的诸多挑战，夺得最终的冠军。
除此之外，网易伏羲强化学习团队也基于网易有灵机器人平台，为网易旗下24工作室的知名动作游戏《永劫无间》提供了拟人化机器人的支持，这其中主要包括了寻路机器人和战斗机器人。在寻路方面，为了实现能够像玩家一样飞檐走壁、吾身无拘的机器人，比较关键的一点是要对永劫无间高度复杂的三维场景有非常良好的感知。为此，网易伏羲团队为算法模型设计了包括射线雷达、球状雷达、深度图、时间序列等在内的一系列复杂输入特征和处理这些特征的神经网络结构。而基于网易有灵机器人AOP编程范式，只需要利用其规范化的接口定义模型输入、输出特征和模型结构，就能直接调用AI能力系统中的学习算法进行训练，完全做到与算法端解耦合。
图11展示了网易伏羲强化学习团队所训练出的拟人化寻路机器人与游戏原本内置的寻路机器人之间的差异。可以看到，内置AI只会一直不停地跳着前进，而伏羲AI能够像较高水平玩家那样，采用滑步蓄力、钩索拉近等高阶操作方式前进。目前，网易伏羲强化学习团队正在利用伏羲网易有灵众包平台，构建类似于竞赛中的数据-训练-评估自动闭环，进一步优化永劫无间中机器人的拟人性。
&nbsp;
<div class="media-wrap image-wrap align-center" style="text-align: center;"><img id="https://static.fuxi.netease.com/fuxi-official/web/20230316/1364757e6a06539ab2e01c492e5b05d2.gif" title="永劫无间拟人化寻路机器人效果展示" src="https://static.fuxi.netease.com/fuxi-official/web/20230316/1364757e6a06539ab2e01c492e5b05d2.gif" alt="永劫无间拟人化寻路机器人效果展示"></div>
&nbsp;
自然界经过漫长的生物进化过程才造就了人类这样的智慧生物，而人类在创造高智能机器人的过程中，如果能有效利用自身的知识和智慧来辅助机器人“进化”，则一定会极大地加速这个过程。在未来几十年里，人机协作将会是社会智能化发展的主旋律，机器的智能需要人类提携，人类智能需要机器辅助。在智能体与世界连接的根节点上，一定不会缺少人类，只是角色可能不断的从任务的执行者变为组织者、管理者、决策者和发现者。
网易有灵机器人在提供任务标准化建模工具的基础上，期望能作为中小型企业和广大劳动者的桥梁，为任务的建模、发布和执行提供平台化支撑。未来，网易有灵机器人将探索更多虚实融合的场景，让智能体去更好地满足人们生产劳动的需求，并全面开放合作共建机会，与生态伙伴共创人机协作新时代。

网易伏羲获得NeurIPS MineRL BASALT竞赛冠军

12月13日，第二届人形机器人场景应用生态年会在苏州顺利召开。网易伏羲受邀参与此次会议，与各界专家共同探讨人形机器应用发展。网易伏羲产品总监Jeff应邀在会上发表《人机协作智能体助力人形机器人产业发展》主题演讲，并于现场正式发布了网易伏羲具身智能解决方案。该方案的发布标志着网易伏羲多年技术积累与创新探索进入了一个新的阶段，也为人形机器人产业发展注入了新的动力。

12月13日，第二届人形机器人场景应用生态年会在苏州顺利召开。网易伏羲受邀参与此次会议，与各界专家共同探讨人形机器应用发展。网易伏羲产品总监Jeff应邀在会上发表《人机协作智能体助力人形机器人产业发展》主题演讲，并于现场正式发布了网易伏羲具身智能解决方案。该方案的发布标志着网易伏羲多年技术积累与创新探索进入了一个新的阶段，也为人形机器人产业发展注入了新的动力。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241216/9ee97f67e9ca8eb875c713a549fbf137.jpg" alt="" width="960" height="640">
Jeff在演讲中指出：“当前，具身智能发展已成为国家工业4.0和新质生产力重要部分，正在逐渐从理论走向实践，加速落地。”然而与此同时，具身智能发展也面临一系列挑战，如实现通用智能时需要人类智能的介入以及数据缺乏等。为突破这些壁垒，网易伏羲依托过往7年游戏AI与AI机器人积累，打造网易有灵人机协作智能体平台（以下简称“网易有灵平台”），并推出具身智能解决方案，旨在为企业提供涵盖感知能力、模型化交互和实时决策等全方位的数据标注采集及模型训练支持。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241216/fe833e2a922249faec1535b13ab2adf0.jpg" alt="" width="960" height="640">
该方案提供全面的数据标注服务，涵盖人脸表情、骨骼动作、工具物品识别、大模型标注及语音识别等音视图文数据，支持在线与离线处理。依托游戏和数字孪生技术积累的海量仿真数据，构建完整仿真数据集供应链，同时拥有机械臂操作、视觉识别、大模型训练、虚拟场景等多领域算法积累，通过网易有灵平台的主动学习和数据闭环机制，加速算法迭代与落地，推动具身智能在多个领域的广泛应用。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241216/2fa40b316ee15febf0b545f38b8facde.jpg" alt="" width="960" height="399">
<h3>一、三大核心优势，应对行业发展挑战</h3>
“我们相信，持续优化的数据闭环机制是推动算法快速迭代和进步的关键。”Jeff强调，“通过不断循环的数据收集、分析与反馈，数据闭环加速了模型训练的速度，并显著提升了模型的准确性和适应性。网易伏羲具身智能解决方案凭借以下三大核心优势——海量数据、成本质量控制和高效的数据闭环，不仅能够有力应对当前行业发展的挑战，更为未来的技术创新奠定了坚实的基础。”
<h4>1、海量数据</h4>
网易有灵平台依托过往游戏虚拟场景、无人零售和机器人等场景，积累了丰富的音视图文视频数据，并通过数字孪生技术构建了完整的仿真数据集供应链，确保数据的广泛性和高质量。
<h4>2、成本质量控制</h4>
网易有灵平台的众包产品注册用户已达到近百万，能够以较低的成本快速响应大规模数据任务，并通过群体智能算法实现多人决策下的高置信度数据结果。
<h4>3、数据闭环</h4>
网易有灵平台支持模型上传并在线运行，通过主动学习、螺旋迭代等方式，实现数据筛选优化及模型自动训练优化，持续提升模型性能。
<h3>二、多元应用场景，构建人机协作生态系统</h3>
“网易伏羲的愿景是‘人机协作，万物有灵’，我们始终致力于利用前沿人工智能技术释放劳动者的生产力，探索人机协作的全新时代。”Jeff在演讲中表示，在这个愿景的指引下，网易伏羲具身智能解决方案适用于以下多种应用场景，将有效助力构建更加紧密的人机协作生态系统。
<h4>1、机械臂场景</h4>
网易有灵平台支持动态捕捉任务的采集，基于AOP自闭环数据构建方案，积累了超过百万条双臂抓取视频数据集。通过训练仿真数字孪生技术，生成了大量用于环境理解和交互模拟的多格式图文数据。结合网易伏羲在强化学习（RL）方面的技术积累，该解决方案已在内部工程机械和理疗服务场景中成功落地，显著提升了机械臂操作的精度和效率。
<h4>2、视觉识别场景</h4>
网易有灵平台提供多元化视频、图片采集方案，在人物表情识别、商品识别、人体动作意图识别等多个场景中积累了丰富的数据集和优化的数据处理方案。这些技术已经在虚拟场景和无人零售等领域实现了广泛应用，为用户提供更加自然和智能的交互体验。
<h4>3、大模型场景</h4>
网易有灵平台基于成熟的游戏AINPC应用场景，储备网易伏羲易生诸相多模态大模型，专注中文场景角色扮演能力，并针对对话能力、角色一致性、角色扮演吸引力三大类场景提供文本撰写、对比打分排序等针对Fine-tune与RLHF的数据标注能力，并支持三方LLM对话模型接入，提供MoE专家模型策略。
<h4>4、虚拟交互场景</h4>
网易有灵平台拥有深厚的虚拟场景算法数据积累，涵盖ASR语音、音色定制、虚拟形象创造，人脸表情迁移等多个场景，已成功应用于游戏资产生产和文旅电商等多个行业。
目前，网易伏羲具身智能解决方案已经在多个领域取得了成功应用。在理疗领域，通过AI自主学习和自研关节机械臂技术，网易伏羲智能理疗机器人能够精准识别全身穴位，提供多种专业理疗服务；在工程机械领域，网易灵动挖掘机器人利用具身智能和数字孪生系统，实现了高效、精确的自动装车操作。网易灵动装载机器人在搅拌站场景中实现了24小时连续无人作业，且效率达到作业师傅的120%。
此次，网易伏羲发布的具身智能解决方案不仅展示了其在人工智能领域的深厚积淀和技术实力，更为更为人形机器人产业注入了新的活力。随着具身智能技术的广泛应用，将有更多智能化、人性化的机器人出现在各个领域，为人们的生活带来更多便利。未来，网易伏羲也将继续秉持“人机协作，万物有灵”的愿景，携手各界伙伴，共同创造一个更加智能化、数字化的世界。
欢迎访问网易伏羲官网，深入了解更多最新技术与解决方案。扫码添加社群，或后台回复“具身智能”，获取具身智能解决方案完整资料。
<img style="display: block; margin-left: auto; margin-right: auto;" src="https://static.fuxi.netease.com/fuxi-official/web/20241216/85089ea161f4769fcce368e294b07266.png" alt="" width="396" height="396">
扫码入群，获取具身智能解决方案完整资料
市场生态合作:fuxi.mkt@service.netease.com
商务合作：fuxi@service.netease.com
合作电话：（0571）89852163转21951

重磅首发！网易伏羲具身智能解决方案推动人形机器人产业新发展

网易、高通在骁龙技术峰会2024上联合宣布，双方共同优化《永劫无间》手游，基于骁龙8至尊版调优，并支持一系列高通的新技术，性能显著提升。
其中，值得一提的是，基于骁龙8至尊版强大的高通Hexagon™ NPU，网易伏羲携手《永劫无间》手游首次将具有18亿参数的大语言模型引入终端侧，利用包括软件和工具在内的高通AI Stack的全栈优化，打造全新升级的端到端AI队友功能。

网易、高通在骁龙技术峰会2024上联合宣布，双方共同优化《永劫无间》手游，基于骁龙8至尊版调优，并支持一系列高通的新技术，性能显著提升。
其中，值得一提的是，基于骁龙8至尊版强大的高通Hexagon™ NPU，网易伏羲携手《永劫无间》手游首次将具有18亿参数的大语言模型引入终端侧，利用包括软件和工具在内的高通AI Stack的全栈优化，打造全新升级的端到端AI队友功能。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241025/8417bc1e38e8b1228d28eda5a948dd6f.jpg" alt="" width="960" height="540">
该功能可以让AI队友不仅听懂玩家的语音对战指令并执行，还能够通过语音指导新手游玩；不仅如此，玩家还能够与AI队友进行自然的语音交流，获得优质队友的情绪价值。与云端推理相比，在终端侧进行AI推理具有诸多优势。
首先，在终端侧推理可以显著降低网络传输带来的时延，使得首词时延控制在300毫秒以内，让玩家与AI队友的语音沟通更流畅、响应速度更快。
其次，用户数据无需上传云端，这将大大提升用户的隐私的安全性。
此外，将AI推理从云端迁移到终端侧，可以充分利用骁龙8至尊版强大的终端侧AI推理能力，从而降低云端运行成本并降低能耗。
网易高级副总裁、网易雷火游戏事业群负责人胡志鹏表示：
长期以来，高通技术公司一直是网易信赖的领先合作伙伴，其先进的骁龙移动平台在支持网易游戏方面发挥关键作用。骁龙定制处理器的强大性能结合我们持续的技术优化，能够确保为所有玩家提供出色游戏体验。随着AI与游戏的融合正在不断变革玩家的游戏体验，我们很高兴与高通技术公司持续深入合作，将性能强劲、AI算力出众的骁龙8至尊版和网易前沿的AI大模型推理技术相结合，率先将终端侧AI大模型引入手游，为全球玩家解锁游戏体验新天地。
高通公司高级副总裁兼手机业务总经理Chris Patrick表示：
高通技术公司和网易在游戏技术领域长期保持深入合作。我们很高兴能与网易合作，为热门手游大作《永劫无间》手游带来骁龙专属优化，通过提升游戏稳定性和能效，为全球广大玩家带来前所未有的手游体验。
延展阅读：
《永劫无间》手游正式开服！揭秘语音AI队友背后的黑科技｜高通骁龙游戏技术赏2024演讲实录
<img style="display: block; margin-left: auto; margin-right: auto;" src="https://static.fuxi.netease.com/fuxi-official/web/20241025/1d34a5b77f071eeebe172d6df2a417bd.png" alt="" width="396" height="396">
扫码入群，探讨更多前沿技术发展
市场生态合作:fuxi.mkt@service.netease.com
商务合作：fuxi@service.netease.com
合作电话：（0571）89852163转21951
&nbsp;

《永劫无间》手游x高通x网易伏羲：终端侧AI大模型首次登陆手游！

在刚刚闭幕的十四届全国人大三次会议上，“新质生产力”与“人工智能+”成为热议焦点，为各行各业指明了智能化转型的方向。网易伏羲旗下工程机械智能化品牌——网易灵动，正是这一战略的生动实践者。通过深度融合人工智能、数字孪生等技术，网易灵动挖掘机器人不仅解决了传统矿山与基建作业中的效率与安全难题，更以远程操控、一键自动化、智能防护等功能，重新定义了工业场景的未来。

回顾刚刚闭幕的十四届全国人大三次会议，科技创新是当之无愧的焦点，“新质生产力”、“人工智能+”等科技创新领域的关键词被持续热议。会议明确提出，要进一步推动新质生产力的发展、持续推进“人工智能+”行动。这不仅为各行各业指明了方向，也为工程机械领域带来了前所未有的机遇。
在新一轮科技革命与产业变革的浪潮中，网易伏羲旗下的工程机械智能化品牌——网易灵动通过不断优化自身的技术矩阵，搭建了一条从虚拟世界延伸至实体产业的创新链路，成为推动新质生产力发展的重要力量。凭借深度融合游戏技术、人工智能（AI）与工业场景，网易灵动打破传统行业的效率瓶颈，重塑人机协作模式，以领先的技术和创新的产品，重新定义工业场景的未来，成为“新质生产力”的生动实践者。
<h2>一、从“钢铁巨兽”到“智能伙伴”一场工业生产力的革命</h2>
传统工程机械给人的印象往往是笨重、嘈杂、危险。矿山开采、基础设施建设等场景中，工人们不仅要面对恶劣的环境，还要时刻警惕坍塌、滑坡、机械伤害等风险。然而，随着人工智能、数字孪生等技术的飞速发展，这些“钢铁巨兽”正在变成“智能伙伴”，而网易灵动正是这场变革中的引领者。
依托网易伏羲在人工智能、数字孪生等领域的核心技术积累，网易灵动已注册68项工程机械智能化相关发明专利，并斩获2024全球数字贸易创新大赛金奖、中国设计智造大奖、德国iF设计奖等数十项国内外权威奖项。目前，网易灵动的产品矩阵涵盖挖掘机器人、装载机器人等多种工程机器人，服务场景覆盖矿山、港口、搅拌站、化工、基建、应急救援、职业教育等领域，在全国十余个省份落地超百个标杆项目，有效解决了行业用工短缺、作业安全等核心痛点。
<h2>二、网易灵动挖掘机器人-矿山里的“智能矿工”，新质生产力的缩影</h2>
想象一下，在矿山深处，一台挖掘机器人正灵活地穿梭于陡峭的岩壁之间，精准地完成挖掘、装车、平地等任务。而它的“指挥官”却坐在舒适的办公室里，通过AR眼镜实时查看现场画面，仿佛身临其境。这不是未来场景，而是网易灵动挖掘机器人的日常。这正是“新质生产力”在工程机械领域的具体体现——通过科技创新，将人力从危险、繁重的工作中解放出来，同时大幅提升效率和质量。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20250318/62a14ccf5be3a2f5f343e34307eb28c9.png" alt="" width="900" height="615">
网易灵动基于矿山开采、基础设施建设等施工场景，从底层逻辑出发，全方位搭建智能架构。通过整合加装角度传感器、压力传感器、视觉感知单元、控制单元、多路电磁阀、定位导航等硬件，赋予其敏锐的感知能力与高效的运算能力；嵌入场景感知模型、运动控制模型、安全防护等算法配置，使其具备智能决策的“大脑”，实现挖掘机的全面智能化升级。以科技之力重塑矿山开采、基础设施建设等场景下的作业模式，为行业高效、安全发展开拓全新路径。
<h3>1、远程操控：让危险远离人类，让效率触手可及</h3>
矿山作业环境恶劣，工人们不仅要面对坍塌、滑坡等地质灾害，还要忍受粉尘、噪音和机械伤害。网易灵动挖掘机器人以远程操控技术为核心，让操作人员远离危险。无论是通过远程驾驶座舱、电脑，还是戴上AR智能眼镜，操作者都能轻松指挥机器人完成复杂任务，既高效又安全。这种“人机协同”的模式，不仅体现了新质生产力中“以人为本”的理念，更展现了科技如何将人类从高风险环境中解放出来，同时大幅提升作业效率。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20250318/05fc7fe2ec66d9a55eb1102d187a97ad.jpg" alt="" width="900" height="506">
<h3>2、一键自动化：解放双手，释放效率</h3>
基于网易伏羲自研的工业大模型和AOP（Agent Oriented Programming，面向智能体编程）技术，网易灵动挖掘机器人具备强大的数据处理与智能决策能力。它能对海量历史数据深度剖析、学习，面对复杂工况，迅速推理出最佳方案，实现自动装车、自动导航、一键平地、一键刷坡等功能，全程无需人工干预，不仅解放了人力，还大幅提升了作业效率，为新质生产力的发展提供了有力支撑。
<video style="width: 900px; height: 450px;" controls="controls" width="900" height="450">
<source src="https://cdn.fuxi.netease.com/eevee/fuxi_protal/index/backend/news/20250318-zidongzhuangche.mov?auth_key=2147483647-0-0-3d2b4f108d39a191cbe9bd0b82196fbf"></video>
网易灵动挖掘机器人-自动装车
<video controls="controls" width="900" height="450">
<source src="https://cdn.fuxi.netease.com/eevee/fuxi_protal/index/backend/news/20250318-zidongdaohang.mov?auth_key=2147483647-0-0-5eb3e00a79c96cd2a91974be7a836caf"></video>
网易灵动挖掘机器人-自动导航
<video controls="controls" width="900" height="450">
<source src="https://cdn.fuxi.netease.com/eevee/fuxi_protal/index/backend/news/20250318-zidongwagou.mov?auth_key=2147483647-0-0-260d7871a908cefb4c1923f2f1802c12"></video>
网易灵动挖掘机器人-自动挖沟
<video controls="controls" width="900" height="450">
<source src="https://cdn.fuxi.netease.com/eevee/fuxi_protal/index/backend/news/20250318-dianawana.mov?auth_key=2147483647-0-0-367aa50f03ed5ec5381e014f0b728f45"></video>
网易灵动挖掘机器人-点哪挖哪
<h3>3、智能防护：360°无死角的安全守护</h3>
在复杂作业环境中，安全永远是第一位的。网易灵动挖掘机器人具备360°无死角的环境感知能力，实时监测周围障碍物和人员动态，有效避免碰撞和误伤。此外，辅助视角功能扩展了操作者的视野范围，紧急制动系统则在关键时刻迅速响应，为人员和机器安全保驾护航。通过搭建智能化的安全防护体系，不仅解决了传统作业中的安全隐患，还为新质生产力在工业安全领域的应用提供了典范。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20250318/878c7ef6319e69fde81176ad24f97189.png" alt="" width="900" height="525">
<img src="https://static.fuxi.netease.com/fuxi-official/web/20250318/e786262c0591f4f8c5e46c642891c503.png" alt="" width="900" height="525">
<img src="https://static.fuxi.netease.com/fuxi-official/web/20250318/26e6ac723a418d2025ac2ffaea45416d.png" alt="" width="900" height="525">
<h3>4、数字孪生：让矿山“看得见、管得着”</h3>
通过高精度传感器与实时数据分析技术，网易灵动挖掘机器人能迅速构建出矿山现场的3D数字孪生场景。工作人员可以直观了解作业现场的布局、设备状态及作业进度，优化资源配置，提高作业效率。数字孪生系统还能预测未来的作业趋势，为决策提供有力支持。通过数字孪生技术，矿山作业从传统的“经验驱动”转变为“数据驱动”，这正是新质生产力在工业场景中的深刻变革。
<video controls="controls" width="900" height="450">
<source src="https://cdn.fuxi.netease.com/eevee/fuxi_protal/index/backend/news/20250318-shuziluansheng.mov?auth_key=2147483647-0-0-8da4fa0dc29886ea003b505ae4ba5e72"></video>
<h3>5、多种远控终端：灵活操控，满足多样化需求</h3>
网易灵动为用户提供丰富多样的远控终端，包括远程驾驶座舱、电脑和AR智能眼镜，满足不同场景下的操控需求。远程驾驶座舱1:1还原真机驾驶体验，电脑通过专用软件实现稳定连接，AR智能眼镜则以全息影像呈现作业画面，实现虚实融合的沉浸式操控。这种多样化的终端设计，不仅提升了人机交互的便捷性和效率，还为挖掘机器人在复杂环境中的广泛应用提供了更多可能性，进一步推动了新质生产力在工程机械领域的落地。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20250318/5155981239dd14351f2488489e52e4b0.png" alt="" width="900" height="569">
<h2>三、网易灵动挖掘机器人-基建中的“效率先锋”，新质生产力的实践者</h2>
在基础设施建设中，网易灵动挖掘机器人同样展现了其卓越的性能。传统作业受环境限制，工人们需要在高温、粉尘弥漫的环境中长时间工作。而网易灵动挖掘机器人通过远程操控系统，让工作人员在舒适的办公室内即可完成24小时不间断作业，显著提升施工效率。这种高效、智能的作业模式，正是新质生产力在基建领域的生动实践。
<h3>1、安全保障：全方位守护，筑牢安全屏障</h3>
网易灵动挖掘机器人具备360°无死角的环境感知能力，实时监测周围障碍物，有效避免碰撞和误伤。在复杂作业环境中，机器人通过高精度感知传感器持续监控工作姿态，及时反馈倾覆风险并急停，防止因操作不当或环境因素导致的倾覆事故。
<h3>2、效率革新：远程操控，颠覆传统作业模式</h3>
无论施工现场是高温酷暑，还是粉尘弥漫，工作人员无需再置身恶劣环境，通过远程操控系统即可实现高效作业。这不仅改善了人员的工作条件，更极大地加快了工程进度，让施工效率直线上升。通过科技创新实现高效、智能的作业模式，颠覆传统基建作业模式，使得效率和质量得到双重提升，正是新质生产力在基建领域的生动实践。
<h3>3、施工精度：厘米级控制，减少资源浪费</h3>
依托高精度传感器与先进算法，网易灵动挖掘机器人能对机械臂、铲斗等末端执行器进行实时监测与精准控制。在作业时，传感器将机械臂的伸展长度、角度，铲斗的开合程度等数据快速反馈给控制系统，确保每一次挖掘动作都能精确到厘米级，显著提升了作业效率与准确性。这种高精度的作业能力，将传统作业中的“粗放式操作”转变为“精细化管控”，能有效减少物料浪费和设备损耗。
<h3>4、操作流畅：低延时传输，高效协同</h3>
网易自研RTC音视频传输技术，为挖掘机器人远程操控搭建高效通信桥梁。在5G局域网环境下，端到端延迟小于90ms，点对点延迟小于120ms，达到行业领先水平。工作人员能近乎实时获取高清画面与数据，指令瞬间传达至机器人端，实现高效人机协同，保障作业顺畅进行。这种低延时技术，为远程操控的精准性和实时性提供了坚实保障，进一步体现了新质生产力的技术优势。
<h3>5、一人多机：智能调度，高效管控</h3>
网易灵动挖掘机器人支持一人多机“牧羊人”模式，任务管理员可同时管控多台设备。通过智能调度系统，合理分配任务与作业顺序，确保每台机器人高效运作。任务管理员还能实时监控各机器人的状态与进度，优化资源配置。这种模式不仅提升了作业效率，还降低了人力成本，为新质生产力在工程机械领域的规模化应用提供了有力支持。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20250318/cc90490e8ab00b0b020a436df79bae09.png" alt="" width="900" height="515">
网易灵动挖掘机器人的成功应用，不仅是技术创新的成果，更是对行业痛点的精准回应。在“十四五”规划强调智能化转型的背景下，网易灵动以科技之力重塑工业场景，为矿山、基建等领域的高效、安全发展开拓全新路径。
未来，网易灵动将继续深耕人工智能与数字孪生技术，以新质生产力赋能工业，推动工程机械智能化向更高层次迈进。无论是矿山深处的“智能矿工”，还是基建现场的“效率先锋”，网易灵动都将以创新的技术和产品，为全球工业场景提供更多智能化解决方案，助力产业升级与高质量发展。
近期，网易伏羲机器人算法负责人吟风将受邀参加由DataFun主办的DA数智大会（上海站），他将围绕“具身智能在工程机械智能化中的应用实践”这一主题进行分享。欢迎各位尽早预定报名，共同探讨未来智能技术的发展趋势与应用前景。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20250318/af6654c193ddbf777678fbacca1f5958.png" alt="" width="850" height="2225">
<img src="https://static.fuxi.netease.com/fuxi-official/web/20250318/cd6f3b1d70c1a7557dffaaefaaa16454.png" alt="" width="850" height="2239">

新质生产力在行动！网易灵动挖掘机器人如何破解工业智能化难题

2023年10月26日-28日，2023（第二十五届）中国国际矿业大会在天津梅江会展中心盛大举行。网易伏羲工程机器人作为新鲜血液的加入，带来了助力矿业生产更加智能、高效和安全的解决方案，展示了其助力矿业发展绿色化和智能化发展的核心能力。

2023年10月26日-28日，2023（第二十五届）中国国际矿业大会在天津梅江会展中心盛大举行。自1999年开始举办，该展会已经跻身全球规模最大、最具影响力的矿业展会之一，涵盖矿业行业勘探开采、技术装备、贸易投资等全产业链。本次大会以“创新驱动，促进矿业高质量发展”为主题，秉持开放包容、互惠共赢的宗旨和高质量发展理念，助力新一轮找矿突破战略行动，持续推进创新驱动型、改革引领型、绿色安全型、包容共享型、开放互利型矿业建设。
&nbsp;
今年，网易伏羲工程机器人作为新鲜血液的加入，带来了助力矿业生产更加智能、高效和安全的解决方案，展示了其助力矿业发展绿色化和智能化发展的核心能力。
<div class="media-wrap image-wrap"><img id="https://static.fuxi.netease.com/fuxi-official/web/20231030/10b465cc17bc2c64edd09950ac6dd51c.jpg" class="media-wrap image-wrap" title="2023（第二十五届）中国国际矿业大会" src="https://static.fuxi.netease.com/fuxi-official/web/20231030/10b465cc17bc2c64edd09950ac6dd51c.jpg" alt="2023（第二十五届）中国国际矿业大会"></div>
本次展会上，网易伏羲工程机器人展示了其卓越的性能和先进的技术。通过在游戏中积累的人工智能和数字孪生等技术，网易伏羲对挖掘机和装载机等工程机器进行了改造升级，使之具备远程操控、云端计算及智能化的能力，从而实现自动化作业目标，能够助力施工场景实现更高效、更安全的生产作业，达成智能化、数字化、绿色化生产的转型目标。
&nbsp;
不仅如此，网易伏羲还基于AOP（Agent-Oriented-Programming，面向智能体编程）理论思想及自研工业大模型，推出了首个“自我进化”的工程机械大脑，真正实现工程机器人的自主学习和智能决策，提高机器的操作效率和准确性。
<div class="media-wrap image-wrap"><img id="https://static.fuxi.netease.com/fuxi-official/web/20231030/ec07cb418c0bd10f8f26f8176ed508b4.jpg" class="media-wrap image-wrap" title="中国国际矿业大会圆满收官" src="https://static.fuxi.netease.com/fuxi-official/web/20231030/ec07cb418c0bd10f8f26f8176ed508b4.jpg" alt="中国国际矿业大会圆满收官"></div>
网易伏羲所展出的装载机器人采用先进的无人驾驶技术，实现环境感知、路径规划、主动避障、自主作业、自动监控与提醒等自动化功能，通过数字孪生技术实现了对搅拌站生产过程的实时监测和精准控制，全面提高了搅拌站生产效率和工作安全，同时大幅度降低了运营成本。展会现场，网易伏羲以其的智能化、无人化的解决方案吸引了搅拌站、智慧矿山等众多企业代表前来了解网易伏羲的先进技术，并表达了与其合作的意愿。
&nbsp;
此次展会为工程机械行业提供了一个广阔的交流和合作平台，吸引了来自全球各地的企业和专业人士参与其中。在未来的发展中，网易伏羲将继续致力于探索游戏化人工智能方向，共享经验和资源，探索更多应用场景和解决方案。网易伏羲工程机器人将秉持开放合作的理念，期待与行业内的企业和合作伙伴共同推动矿业行业的创新发展。我们相信，通过持续的创新和合作，工程机械行业将迎来更加美好的未来。

中国国际矿业大会圆满收官，网易伏羲工程机器人助力矿业绿色、智能发展！

当传统施工还在为招工难、用工贵、安全风险高等难题发愁时，一场由人工智能驱动的生产力革命，已经在你我身边悄然落地。从标准化搅拌站到环境复杂的开放港口，从露天矿山到精密的城市改造现场——网易灵动旗下的灵载·装载机器人和灵掘·挖掘机器人，正把新质生产力从蓝图变成现实。

2026年，我们精选了6个来自一线的真实故事，与你分享：工程机械的智能化，如何助力传统行业破解安全生产、人力成本两大难题（以下顺序不分先后）。

网易灵动拍了拍你｜6个一线故事，开启2026工程机械智能化新篇章
当传统施工还在为招工难、用工贵、安全风险高等难题发愁时，一场由人工智能驱动的生产力革命，已经在你我身边悄然落地。从标准化搅拌站到环境复杂的开放港口，从露天矿山到精密的城市改造现场——网易灵动旗下的灵载·装载机器人和灵掘·挖掘机器人，正把新质生产力从蓝图变成现实。
2026年，我们精选了6个来自一线的真实故事，与你分享：工程机械的智能化，如何助力传统行业破解安全生产、人力成本两大难题（以下顺序不分先后）。
案例1：<a href="https://mp.weixin.qq.com/s/ozCtVylRb7jKvd-d3YimDw">甘肃路桥建设集团</a>（点击了解详情）
<img src="https://static.fuxi.netease.com/fuxi-official/web/20260210/e1228899b9d0712be5ed51904e9eb196.png" alt="" width="1080" height="1920">
案例2：<a href="https://mp.weixin.qq.com/s/Cl-6KJAUs343FPeV2b4RAg">中铁二十局集团</a>（点击了解详情）
<img src="https://static.fuxi.netease.com/fuxi-official/web/20260210/fae7d60c94565f0a2c47cd711dd0421a.png" alt="" width="1080" height="1920">
案例3：<a href="https://mp.weixin.qq.com/s/5x0-5_HSsuYDVoltJ6N4mA">中国水电五局集团</a>（点击了解详情）
<img src="https://static.fuxi.netease.com/fuxi-official/web/20260210/8e0d3850235dd5021257b038abab2c8d.png" alt="" width="1080" height="1920">
案例4：<a href="https://mp.weixin.qq.com/s/KPr6EH8wozEnLDP1e_gi4A">上海建工建材科技集团</a>（点击了解详情）
<img src="https://static.fuxi.netease.com/fuxi-official/web/20260210/06f0a52c21c97ef7ee438089cff452ab.png" alt="" width="1080" height="1920">
案例5：<a href="https://mp.weixin.qq.com/s/hdkfB_YWwquTNFLYqKE1rA">上海建工一建集团</a>（点击了解详情）
<img src="https://static.fuxi.netease.com/fuxi-official/web/20260210/b099fe4f396770eb7b4f7e2e75b94310.png" alt="" width="1080" height="1920">
案例6：<a href="https://mp.weixin.qq.com/s/skuQQluiFzOVyzUSOc18eA">上海建工一建集团</a>（点击了解详情）
<img src="https://static.fuxi.netease.com/fuxi-official/web/20260210/0fca61e738e465bcac7d5523f2a5e48b.png" alt="" width="1080" height="1920">
以上为部分落地场景
科技赋能产业，智能重塑未来。网易灵动用创新筑牢安全与效率的根基，为新质生产力注入澎湃动能。2026年，我们期待与更多伙伴一起，奔赴工程机械智能化的星辰大海！

网易灵动拍了拍你｜6个一线故事，开启2026工程机械智能化新篇章

《永劫无间》做出了又一创新尝试——联合范长杰博士坐镇的网易伏羲实验室推出“AI智绘时装共创企划”，让普通玩家也能利用AI技术参与到游戏时装的开发中来。

近期，生成式AI的重大进展成为了热议话题，其优秀的创作力表达，带来了很多新的可能性。尤其是AI绘图功能的爆火，让许多普通人开始近距离接触AI，并尝试用AI进行创作。<div class="media-wrap image-wrap align-center" style="text-align:center"><img class="media-wrap image-wrap align-center" id="https://static.fuxi.netease.com/fuxi-official/web/20230328/507779b155048fc14501639066e85c53.png" alt="AI创作的人物图" title="AI创作的人物图" src="https://static.fuxi.netease.com/fuxi-official/web/20230328/507779b155048fc14501639066e85c53.png"/></div>AI创作的人物图（图片来源于网络，如有侵权，请联系我们删除。）然而，随着生成式AI的爆火，尤其是AI逐渐进入游戏制作等专业领域的工业化流程，关于AI能否取代人的讨论也在不断增加。不可否认的是AI越来越聪明了，但在这个过程中，人类的创造力和审美标准仍然是不可或缺的。《赛博朋克2077》的场景设计师就曾表示，在制作游戏原画时，他们会基于角色设定、结合AI技术生成草稿，以生成结果为灵感进一步优化，再由专业美术不断重复、调整才得到最终版。<div class="media-wrap image-wrap align-center" style="text-align:center"><img class="media-wrap image-wrap align-center" id="https://static.fuxi.netease.com/fuxi-official/web/20230328/17d55c0b8e14f23091309d83affd805c.png" alt="Timur Ozdoev使用AI绘图生成的素材图" title="Timur Ozdoev使用AI绘图生成的素材图" src="https://static.fuxi.netease.com/fuxi-official/web/20230328/17d55c0b8e14f23091309d83affd805c.png"/></div>Timur Ozdoev使用AI绘图生成的素材图游戏从业者的实践证明，AI绘图确实为开拓设计思路和提升游戏研发效率起到了推动作用、带来了更多的可能性，但是这些可能性仍需要人的智慧来决定和实现。随着“AI辅助、人类加工”的模式逐渐应用在游戏开发流程中，连续两年成为Steam铂金级别年度最佳游戏的《永劫无间》做出了又一创新尝试——联合范长杰博士坐镇的网易伏羲实验室推出“AI智绘时装共创企划”，让普通玩家也能利用AI技术参与到游戏时装的开发中来。<div class="media-wrap image-wrap"><img class="media-wrap image-wrap" id="https://static.fuxi.netease.com/fuxi-official/web/20230328/9d18782f34e46b967e9638fbdfa20ab9.png" alt="AI智绘·时装共创企划" title="AI智绘·时装共创企划" src="https://static.fuxi.netease.com/fuxi-official/web/20230328/9d18782f34e46b967e9638fbdfa20ab9.png"/></div>AI智绘·时装共创企划本次活动中，玩家不仅可以为自己喜爱的AI灵感图进行投票，也可以使用灵感词生成自己的设计。最终《永劫无间》将汇集数万人的共同智慧，基于玩家票选的共创灵感词，结合AI技术生成时装灵感，在此基础上进行时装开发，并作为周年庆礼物发放给玩家。<div class="media-wrap image-wrap"><img class="media-wrap image-wrap" id="https://static.fuxi.netease.com/fuxi-official/web/20230328/81edda8feb56246b8801f2496dbc9eb1.png" alt="AI智绘·时装共创企划活动界面" title="AI智绘·时装共创企划活动界面" src="https://static.fuxi.netease.com/fuxi-official/web/20230328/81edda8feb56246b8801f2496dbc9eb1.png"/></div>AI智绘·时装共创企划活动界面如何精准汇集并呈现玩家的灵感，背后是技术的沉淀。本次活动中，网易伏羲实验室基于大规模预训练模型围绕《永劫无间》的文化主题及玩家喜好，使用网易自有版权素材库数据对生成式AI进行深度定制。据了解，网易伏羲的大规模预训练模型，入选了浙江省科技计划项目——“尖兵”项目。自研模型规模从最早的一亿参数增长至千亿参数，模型领域从文本拓展到图文、音乐、行为序列等多种模态，积累了丰富的预训练模型训练和工程优化的经验。AI技术的运用也为玩家提供了更好的体验。比如，《永劫无间》开发组就曾利用AI反外挂技术分析玩家在游戏中的行为数据，快速识别出行为异常的玩家，对传统反外挂技术进行有效补充。也比如让AI人机在对战中学习玩家的打法招式，为玩家开发出全新的噩梦人机模型，带来不一样的对局体验。<div class="media-wrap image-wrap align-center" style="text-align:center"><img class="media-wrap image-wrap align-center" id="https://static.fuxi.netease.com/fuxi-official/web/20230328/957aa3902c3182a4348c7e2455857bf3.png" alt="噩梦AI累计击败1亿玩家" title="噩梦AI累计击败1亿玩家" src="https://static.fuxi.netease.com/fuxi-official/web/20230328/957aa3902c3182a4348c7e2455857bf3.png"/></div>噩梦AI累计击败1亿玩家从游戏体验优化、到游戏运营，AI在为游戏的各个领域赋能，辅助游戏厂商提高生产的品质和效率。与此同时，游戏各个场景也成为研究和验证AI技术的绝佳场景，AI研究团队通过复杂的游戏场景来反复打磨AI算法、验证技术效果，极大地促进了AI行业算法、模型结构以及大规模分布式计算等技术的发展。可以想象，未来AI将不断拓宽应用场景、成为各行各业的辅助工具，从而推进其在算法研究、神经网络架构探索以及大规模分布式计算等领域取得更高的发展，为各行各业带来更多的可能。

《永劫无间》×网易伏羲首个AI共创的游戏设计，很以人为本

具身智能（Embodied Artificial Intelligence，简称EAI），是人工智能与机器人学交叉的前沿领域，这一概念最早可追溯至1950年，计算机科学之父艾伦·图灵在其论文《计算机器与智能》中首次提出了具身智能的设想，其核心在于智能必须拥有一个物理实体（“身体”）​，并通过这个实体与周围环境进行实时互动、感知和学习，从而产生智能行为和适应能力。

  通俗地说，具身智能就是“能思考、能感知、能行动”的智能系统​，走进现实世界，通过“眼睛”看、通过“手”操作、通过“身体”移动，去主动完成任务的智能体。

什么是“具身智能”? 和人形机器人有什么关系？
  2025年，“具身智能”首次被写入《政府工作报告》：“建立未来产业投入增长机制，培育生物制造、量子科技、具身智能、6G等未来产业”，成为国家培育的未来产业之一。
  什么是“具身智能”？与传统人工智能有什么区别？如何厘清具身智能、智能机器人与人形机器人之间的关系？本文来详细聊聊。
  具身智能：“能思考、能感知、能行动”
  具身智能（Embodied Artificial Intelligence，简称EAI），是人工智能与机器人学交叉的前沿领域，这一概念最早可追溯至1950年，计算机科学之父艾伦·图灵在其论文《计算机器与智能》中首次提出了具身智能的设想，其核心在于智能必须拥有一个物理实体（“身体”）​，并通过这个实体与周围环境进行实时互动、感知和学习，从而产生智能行为和适应能力。
  通俗地说，具身智能就是“能思考、能感知、能行动”的智能系统​，走进现实世界，通过“眼睛”看、通过“手”操作、通过“身体”移动，去主动完成任务的智能体。
  具身 vs 离身：智能的两种形态
  理解具身智能，一个很好的方式是与我们所熟悉的“离身智能”进行对比。
  离身智能（如ChatGPT、文心一言）是无实体、纯软件形态的智能。它们通过处理海量数据进行分析、推理和生成内容，但缺乏与物理世界直接交互的能力。就像一个博学的军师，能运筹帷幄，却无法亲身“上阵杀敌”。
  具身智能则拥有物理身体，​强调通过“身体”与环境的动态交互来产生智能，这种智能并非预设，而是在“感知-&gt;决策-&gt;行动-&gt;再感知”的实时闭环中不断学习和进化，就像一个婴儿通过不断摔倒最终学会走路一样。
<img style="display: block; margin-left: auto; margin-right: auto;" src="https://static.fuxi.netease.com/fuxi-official/web/20251210/41c38e280272e37d0556b36b5adcd53b.png" alt="" width="800" height="553">
智能的两种形态
  具身智能、智能机器人与人形机器人，可以分清楚吗？
  具身智能，可以理解为是一种思想，或者理念，而智能机器人是具身智能最主要的应用载体和产品形态之一。我们通常所说的工业机器人、服务机器人等，若具备了自主感知、决策和交互能力，都可视为具身智能的体现。
  再进一层，人形机器人是智能机器人的一种高级形态，仿人的外形被认为是最适合在人类环境中工作、最具潜力的通用具身智能载体之一。
  如果从一张图来概括相关概念，可以是这样：
<img style="display: block; margin-left: auto; margin-right: auto;" src="https://static.fuxi.netease.com/fuxi-official/web/20251210/c6c10d17cbd2a7884f8e79bbc6905342.png" alt="" width="800" height="606">
  在投资方面，具身智能不仅是一个科技热词，更代表着一个巨大的未来产业赛道和投资机会，具身智能产业涵盖了“基础硬件-垂直场景-生态服务”的完整链条，包括核心零部件（如精密电机、减速器、灵巧手、传感器）、AI算法与模型、机器人本体制造等各个方面。
  同时，具身智能技术研发难度大、产品周期长、资金需求高，且商业化路径尚需时间验证，投资者需对此有清晰认知，关注相关企业的技术可行性和商业模式的可持续性。

什么是“具身智能”? 和人形机器人有什么关系？

10月26日，为期三天的2024中国计算机大会（CNCC2024）在浙江省东阳市横店镇圆明新园顺利落下帷幕。本届大会以“发展新质生产力，计算引领未来”为主题，吸引了数万名计算领域专业人士参会。本次大会邀请到了17位国内院士，800余位国内外顶尖学者、企业技术精英，通过特邀报告、大会论坛以及138场专题论坛等形式，共同探讨前沿发展趋势，分享最新创新成果。

10月26日，为期三天的2024中国计算机大会（CNCC2024）在浙江省东阳市横店镇圆明新园顺利落下帷幕。本届大会以“发展新质生产力，计算引领未来”为主题，吸引了数万名计算领域专业人士参会。本次大会邀请到了17位国内院士，800余位国内外顶尖学者、企业技术精英，通过特邀报告、大会论坛以及138场专题论坛等形式，共同探讨前沿发展趋势，分享最新创新成果。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/925e12a35c96d2b6e2b41612764b817d.png" alt="" width="1080" height="720">
大会期间，由网易伏羲承办的“从游戏AI到AOP ：虚实融合助推新质生产力”主题分论坛成功举办，此次分论坛汇聚了众多行业内重量级嘉宾，聚焦游戏AI、具身智能、群体智能等前沿技术发展，分享彼此领域中的宝贵经验、独到见解以及最佳实践案例，共同为参会者呈现出一场精彩纷呈的专业盛宴。同时，网易伏羲还在会上揭晓了CCF-网易雷火联合基金的首批优秀成果，吸引了众多高校教师关注。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/70498222c0cf1a1dce2620843e1abba6.jpg" alt="" width="1262" height="841">
本次论坛邀请了南方科技大学教授、逐际动力创始人张巍，杭州宇树科技有限公司董事、CMO王其鑫，北京航空航天大学教授孙海龙，浙江大学软件学院百人计划研究员王皓波等国内著名专家学者参与分享，围绕论坛主题展开深入交流探讨，借此契机共同推动学术界与产业界的紧密合作与发展。
论坛开幕之际，论坛主席范长杰发表主席致辞。他提到，网易伏羲非常荣幸能够在这里与业界同仁一道，探讨智能体技术如何赋能游戏行业及其他领域的创新发展。网易伏羲一直致力于探索AI前沿技术在更多领域的研究与应用，希望今天的分享能够激发更多的灵感与合作，共同推动计算科学的进步。
01、网易伏羲吕唐杰：AOP框架为游戏AI发展带来全新机遇
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/59125ebb548d587eb9eb4b29d5733c19.jpg" alt="" width="1280" height="863">
在论坛中，网易伏羲AI技术负责人吕唐杰首先带来了《游戏AI基于AOP的创新跨越》主题分享，带领现场观众回顾了网易伏羲在游戏AI领域实现的多个首创技术与应用，如AI智能捏脸、智能NPC、剧组模式、游戏AI竞技机器人等，并重点介绍了AOP框架在《永劫无间》手游中语音AI队友的应用。他指出，面对游戏行业日益增长的AI需求，网易伏羲推出的AOP框架通过面向智能体编程的方式，不仅简化了AI的开发流程，提升了模块和算法的复用性，使AI落地更加标准高效，同时其统一AI与人类智能体的设计思想，大幅降低了数据闭环的实现门槛，使得Agent可以在业务中持续提升能力，为游戏AI不断发展和突破带来了全新机遇。
02、逐际动力张巍：具身智能将助力人形机器人实现更强泛化能力
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/19ceefe0e11f4ed2e3e57018f2cf1b31.jpg" alt="" width="1280" height="853">
&nbsp;
随后，南方科技大学教授、逐际动力创始人张巍先生分享了《具身智能与人形机器人》的相关研究成果，强调了具身智能对于实现具备高度适应性人形机器人的关键作用。他认为，具身智能的核心在于利用高质量数据和强化学习算法，这将使人形机器人具备全地形的运动控制能力和更广泛的通用操作能力。
03、宇树科技王其鑫：具身智能是通往AGI的必由之路
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/a8db7144bddf3e59fa1f58be4adeec3c.jpg" alt="" width="1280" height="853">
杭州宇树科技有限公司董事、CMO王其鑫先生则在其演讲《具身智能：通往AGI的必由之路》中详细探讨了从弱AI逐步迈向AGI的发展路径，强调具身智能作为实现AGI的关键环节，通过智能体与环境的持续互动来促进自我学习与适应。具身智能不仅依赖于算法与数据处理，更通过实体感知、运动能力和环境交互来实现智能行为。目前，具身智能技术已被应用于医疗机器人、服务机器人、工业机器人以及自动驾驶汽车等，通过实时感知环境变化并作出响应，展示出其在多模态感知与行动中的潜力及其对AGI发展的推动作用。
04、北京航空航天大学孙海龙：群智协同方法能有效地提升AI系统可信度
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/b7833c303aea7fcf5342b47340d8f19b.jpg" alt="" width="1280" height="853">
北京航空航天大学教授孙海龙围绕《基于群智协同方法的可信AI系统构建》展开深入分享。他在演讲中强调了利用群智协同方法来构建可信AI系统的重要性。面对AI技术在实际应用中遇到的数据偏见、模型鲁棒性及可解释性和模型构建效率等挑战，孙海龙教授提出通过多样化个体的有效协作能够有效增强AI系统的可信性，并展示了群智监督学习、人机协同优化模型和群智化模型复用等研究成果。未来，孙教授认为应探索大语言模型Agent、人机协同prompt调试和模型分解与合并等群智协同技术，综合运用多种方法的协同进一步提升AI系统的可信度。
05、网易伏羲范长杰：AOP框架助力构建虚实融合新质生产力
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/1c2c006b5f57166099ddab787f6300b2.jpg" alt="" width="1280" height="853">
最后，网易伏羲负责人范长杰以《AOP框架助力构建虚实融合新质生产力》为题进行了深入分享，重点介绍了网易有灵AOP平台在打造数字化生产力新生态方面的作用。范长杰强调，面向智能体编程（AOP）在促进具身智能和群体智能发展中起到了至关重要的作用，它不仅简化及标准化了任务定义，还通过闭环机制实现了数据智能的自动构建和发展。现场，范长杰展示了网易伏羲AOP在表情识别、动作识别等多个应用场景的成功案例，详细讲解了该框架在实现数字孪生、增强人机协作及提升虚拟与现实世界生产力方面的广阔应用前景。此外，他还特别提到了网易有灵AOP众包平台在任务发布、自动质量检测以及在线培训等功能上的独特优势。展望未来，范长杰认为人机协作将成为大势所趋，机器与人类智能的互补将携手推动生产力达到新的高度。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/e0204bc79d96b88df82fbea8f3ea5ac0.jpg" alt="" width="1280" height="853">
此外，现场还邀请了网易伏羲具身智能算法负责人陈赢峰、网易伏羲机器人群体智能组负责人林敏敏与五位嘉宾一起参与Panel研讨会，围绕游戏AI、具身智能、群体智能、AOP框架以及新质生产力等内容展开深入探讨。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/c18a43fe8f5c6ead734912faeda8625f.jpg" alt="" width="1280" height="853">
论坛期间，CCF-网易雷火联合基金的第一批优秀成果重磅发布，论坛特别邀请了CCF副秘书长、CCF业务总部及学术交流中心总经理束庆山与网易伏羲负责人范长杰共同揭晓。此次评审从近百项基金申请中严格筛选，最终评选出8个优秀项目，共计资助额度达210万元，具体资助老师包括上海交通大学晏轶超老师、中国科学技术大学黄振亚老师 、浙江大学王越老师、浙江大学王皓波老师、浙江大学霍宇驰老师 、深圳大数据研究院王帅老师、厦门大学孙晓帅老师、北京大学杨耀东老师。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/02f1e61af6f152bbe4a2f305573bb6b3.jpg" alt="" width="1280" height="853">
浙江大学王皓波老师作为基金优秀代表，现场分享了其在CCF基金资助下的课题成果《基于大小模型协同的低资源标注技术》。该研究提出利用大模型进行初步数据标注并通过小模型精炼，减少人工成本，通过大模型与小模型的协同工作，降低数据标注的成本和人力需求，同时提高标注的准确性。目前，该技术已与网易有灵众包平台合作，通过智能化手段优化众包标注流程，提高效率并降低成本。
<img src="https://static.fuxi.netease.com/fuxi-official/web/20241029/594619234034b60a16ac1e7a72a4343c.jpg" alt="" width="1280" height="853">
网易伏羲群体智能负责人及网易伏羲产学研负责人吴润泽为现场观众介绍道，“CCF-网易雷火联合基金”于2023年由网易伏羲与中国计算机学会（CCF）共同发起，致力于发挥和利用多方资源优势，加强与海内外青年学者的科研合作，促进中国人工智能等领域尖端技术产业的进步，并加快校企合作、技术成果转化落地。自成立以来，CCF-网易雷火联合基金始终致力于推动科研成果的转化与应用，受到了学者们的广泛关注与支持，此次成果发布将进一步促进相关领域的前沿探索与创新实践。
本次论坛的成功举办，不仅展示了智能体技术在多个领域的广泛应用前景，更为未来的AI技术创新与实践指明了方向。随着AOP技术的不断发展和完善，其在虚拟与现实世界中的应用将愈发广泛，对于推动新质生产力的发展具有重要意义。网易伏羲将继续携手各界合作伙伴，共同推动AI技术的进步与应用，为推动计算机科学发展和新质生产力贡献力量。
<img style="display: block; margin-left: auto; margin-right: auto;" src="https://static.fuxi.netease.com/fuxi-official/web/20241029/c9009635f7a45869b06649cdf28865b5.png" alt="" width="396" height="396">
扫码入群，参与AOP SDK内测
市场生态合作:fuxi.mkt@service.netease.com
商务合作：fuxi@service.netease.com
合作电话：（0571）89852163转21951

CNCC2024：网易伏羲主题分论坛圆满落幕，专家共论推动产学研深度融合

test

test_write

security_test_news

security_test_write

security_test_12345

人工智能的理论体系为模型设计提供逻辑基础与方法论指导，而模型则是理论在具体任务中的实现载体。理论研究关注智能的本质、学习的边界、推理的机制等根本问题，涵盖计算学习理论、概率推理、优化方法、信息论等；模型则聚焦于可计算、可训练、可部署的算法结构，如神经网络、决策树、支持向量机等。二者相辅相成：理论推动模型创新，模型验证理论可行性。正是这种“理论—模型—应用”的闭环演进，驱动了人工智能从符号主义、连接主义到当前数据驱动范式的持续跃迁。

人工智能之模型与理论：智能系统构建的科学根基

当我们谈论人工智能时，那些令人惊叹的图像生成、流畅的对话交互和精准的预测决策，都非凭空产生。它们背后，站着一系列深邃的数学模型与理论基础，正是这些理论与模型的演进与突破，构成了人工智能从概念走向现实、从简单走向强大的核心驱动力量。理解人工智能的模型与理论，并非仅是技术专家的专利，更是我们洞察科技发展趋势、把握未来创新方向的关键。它揭示了机器如何学习、如何理解、如何进行决策的内在逻辑。从浅显的线性回归到深不可测的神经网络，从经典的符号主义到连接主义的崛起，一部人工智能发展史，本质上就是其核心模型与理论不断进化与融合的历史。

人工智能之模型与理论：驱动智能涌现的核心引擎

装载机无人化是指通过融合环境感知、自主决策、自动控制、远程通信及数字孪生等先进技术，对传统装载机进行系统性智能化改造，实现从物料识别、路径规划、精准铲装到协同调度的全流程少人化或完全无人化作业。其核心价值在于显著提升作业安全性、生产效率与操作一致性，同时降低人工成本、减少安全事故，并助力企业实现绿色低碳与数字化转型。在矿山、港口、搅拌站等高强度、高风险作业场景中，装载机无人化已成为推动行业高质量发展的关键举措。