企业AI落地最后一公里:美高梅官网正网×DeepSeek-R1实战指南(附直播实录)
2025-03-13
随着DeepSeek的热度从企业扩展到大众,企业面临的已不再是“是否要用AI”,而是如何跑赢落地周期,从模型接入丝滑进入到场景适配。
美高梅官网正网作为第一批接入DeepSeek并落地实际应用场景的企业,充分运用检索增强生成(RAG)技术,融合大模型技术与企业沉淀的专业知识,平衡DeepSeek的创造力与幻觉问题,赋能实际业务场景。
2月27日,美高梅官网正网高级技术总监吴昊宇受邀做客51CTO直播间,分享了接入DeepSeek的相关工作,以及帮助企业应对“最后一公里”的实战经验。
直播干货已整理为系列文章,近期将陆续发布。
最近一周大家都很关注DeepSeek,他们把这周定为“开源周”,每天发布一个重磅炸弹,都是提升模型推理效率的代码库,这对大模型领域特别重要。前几天社媒都在讨论大模型厂商是不是亏本,有人算过按1000亿token处理量,厂商每月要亏四个亿。但DeepSeek开源这些工具后,大家发现其实是有盈利可能的,这些开源库极大地提高了推理效率,相当于给争论画了句号:用好算力,确实是未来方向。
DeepSeek-R1发布后,我们在第一时间就启动了R1接入工作。
第一个关键是在流量最高峰、最拥堵的阶段,面向企业用户开放了满血版R1。即使在公有API或在公共服务波动期间,我们依然保障了客户的流畅使用体验。
第二个关键是应用场景问题,只接对话模型对企业服务是远远不够的。很多企业客户现在会主动向我们咨询:能不能把知识库也接入这类推理模型来优化结果,甚至数据分析服务?客户也在追问:接入R1之后分析会不会更准?
不过虽然R1效果好,但它依然存在幻觉问题,响应速度也有波动。还有个重要考量是:如何用适合的方式展示大模型的推理过程。从年前到整个二月份,我们基本没休息,一直在做三件事:测试不同场景、调整参数、筛选能落地的业务场景。
美高梅官网正网有明确的团队分工,算法团队专门攻坚模型研究和接入,各业务线的场景组负责各自agent的调优,大模型网关层作为流量入口则由专人统一管理,包括模型接入、客户权限分配、余额预警这些琐碎但重要的事都得盯住。
不过接入只是刚开始,R1作为推理模型有个特殊点:它返回的“reasoning”字段会暴露思考过程。这和之前对接的其他模型完全不同,以前都是直接给结果,模型的响应速度比较快;推理模型的推理过程比较耗时间,需要在功能设计上,合理的展示推理过程,减少用户焦虑感。各个业务模块为了兼容这个特性都得重新测试,像知识库这种需要稳定输出的场景,突然多出个会犯错的“大脑活动记录”,产品设计和技术适配都得从头摸索,这是从底层逻辑到上层应用的全新考验。
以美高梅官网正网推出的企业级一站式大模型Copilot“小明助理”举例,这个工具在美高梅内部已经全员使用了。DeepSeek R1上线后我们分析了数据,发现两个有意思的现象:
第一是模型选择权重颠覆认知,R1上线不到一周就冲到模型使用量榜首,颠覆了原本默认效果最好的主流模型;
第二是对话黏性暴增,和其他模型平均聊2轮就结束,用户跟R1的平均对话轮数直接涨了98%。一些企业客户的分析师告诉我们:“答案对不对不重要,我看它推理的过程就像有个高手在旁边拆解解题思路”,比如做客户场景分析、用户分析等,反而帮分析师打开了新视角。
先说现实问题,私有化部署成本。对很多企业来说,这笔预算是道硬门槛,所以我们常建议他们先通过API接入服务,等业务跑顺了再考虑私有化。另外一个问题是适配性。企业里那些陈年老系统既找不到供应商改造,又不能推倒重来。
在这种情况下,Copilot模式是更适合企业落地AI的。基于“on the same page”理念,小明助理以浏览器插件形式为主,用户通过操作小明助理,完成从A系统抓取表格、B系统截取界面、C系统提取文本信息,最后生成分析报告的路径,能够解决原本旧系统的通路问题。
场景选择要兼顾两头,既要满足领导层用上AI的要求,又要让员工真实感受到AI好用,愿意去用。比如做行业研究,研究员原先要手动翻几十个网页、写摘要、做总结才能出报告,现在 OpenAI 推出了深度搜索的功能,可以用大模型解决海量数据收集和复杂分析的问题,这种方式解决了原来的难题,大家愿意用起来。
我们的经验是:先解决企业的业务现存痛点,再找到能够真正解放员工重复性工作的场景,这样作为切入点去落地AI,才能看到进步,企业才会有动力继续往下持续推进。落地AI是一件很重要的事情,企业要看到效果才行。
DeepSeek正加速企业AI化进程。企业打通最后一公里仍面临不少挑战和难题。
如何缓解幻觉问题,提升应用效果?非私有化部署如何确保数据安全?
更多问题答案,请持续关注~
直播干货已整理为系列文章,近期将陆续发布。
信息填写