美高梅(有限公司)官方网站-Made in China

EN

AI落地四大实战策略:私有化部署+RAG技术+多模态处理详解|直播回顾第二弹

2025-03-13

DeepSeek的兴起让企业看到了AI的巨大潜力,但落地过程中的难题却让许多企业望而却步。数据安全如何保障?模型准确性如何提升?各行各业如何在业务场景下应用?这些问题正成为企业AI转型的关键。

2月27日,美高梅官网正网高级技术总监吴昊宇受邀做客51CTO直播间,分享了用好AI,解锁创新密码的实战经验。

Q1:在非私有化部署的情况下,如何确保数据安全和隐私?

吴昊宇:

私有化部署的数据存储在企业内部机房或其信任的云环境中,数据安全性相对较高。对于非私有化部署,我们从两方面保障数据安全和隐私:

一是服务商需要做好用户数据的隔离和保护,签订安全协议和数据归属协议;二是与云厂商合作,确保数据不被用于训练。

对于特别敏感的数据,我们建议使用小型私有化模型。在非敏感场景,比如日常对话、联网搜索,公有模型完全可用。

Q2:如何确保模型的准确性?

吴昊宇:

效果取决于场景。以知识库为例,知识库现在是当前企业落地最广泛的应用。它的效果不仅与模型本身相关,还与前期的预处理密切相关。企业文档类型多样,包括Word、Excel、PPT、PDF及TXT等,对于这些不同类型的文件处理,企业需要下大功夫去研究。比方说我们要进行版面解析、多模态预处理等操作,甚至还要建立小型数据库,以优化查询效果。模型拿到什么样的材料,加工得出什么样的结论,预处理是特别关键的一个环节。

我们知道,R1的推理能力很强,但它喜欢“添油加醋”,在处理信息时会加入很多自己的想象和发散的内容。此前海外的一项评测显示,R1的幻觉比例达到约14%。我们在医药场景也多次发现,R1在回答医药问答时,特别喜欢举例子。比如,药品说明书可能只提到某种病症可以使用某类药物进行治疗,但R1会利用自己的知识补充更多内容,这就存在很大风险。在这种情况下,我们就需要单独处理。

比如,对R1的Prompt进行针对性改造,明确要求它在引用原文时不要举例,也不要合并相关实体。经过限制后,R1的正确率反而比之前使用的最好的模型正确率高出大约两个百分点。无论是通过微调,还是Prompt限制,我们都能让它发挥出原有的,甚至比之前最好的模型更好的能力,这也是我们在知识库场景中积累的经验。

Q3:除了Prompt优化,企业还可以通过哪些方式解决幻觉问题?

吴昊宇:

现在模型更新速度非常快,特别是开源模型,一两个月就可能推出一个新版本。所以对于中小型企业,我们推荐通过RAG的方式实现更好的效果,相当于为模型提供一个外挂知识库。只要数据检索、数据处理到位,用户都能找到自己想要的知识,在执行总结、推理等任务上,大模型已经表现非常出色。

具体到广告行业,营销从业者想知道,当一个20岁的女生看到化妆品广告时,广告能否激发她的兴奋感?她的目光是聚焦在产品本身,还是广告中的女明星?这些都是品牌方需要深入研究的问题。然而,无论是目前的开源模型,还是市场上常见的大模型,都无法解决这一问题,因为缺乏相关数据的输入。

在这种情况下,我们自研了垂直领域的多模态大模型——明敬超图多模态大模型,通过人类脑电和眼动信号,模拟人类主观反应,解决开源模型无法满足的实际业务需求。

Q4:从适配性上看,各行业是否需要形成不同的定制策略?

吴昊宇:

各行业确实需要不同的定制策略。对于营销行业来说,数据量其实是非常重要的。从狭义上讲,营销就是广告;广义来说,营销还可以拓展到社交媒体上的KOL、KOS发布的种草帖。用户在不同社媒平台上发帖的风格是不一样的,平台推品的逻辑也是不一样的。作为国内最大的数据智能应用软件提供商、以及营销智能应用软件提供商,我们可以基于海量数据进行分析和训练,帮助企业形成科学精准的营销分析。

受访专家|

AI落地四大实战策略:私有化部署+RAG技术+多模态处理详解|直播回顾第二弹

DeepSeek、Manus正加速企业AI化进程。企业打通最后一公里仍面临不少挑战和难题。

AI原生应用的临界点到了吗?未来企业的护城河将建立在哪些维度?

更多问题答案,请持续关注~

信息填写

*手机号码:

请选协议

XML 地图