大模型出现之后，许多企业看到了提效的新方向。那么，企业内部可以如何快速应用大模型、Agent等技术来实现提效？这篇文章里，作者结合自己的思考做出了一定梳理，一起来看。
企业内部使用大模型，底线是在安全允许的范围内，……
模型本身是不直接产生价值的，基于基础大模型开发出来的应用才是模型存在的意义。本文作者从8个方面简析企业内部如何快速应用大模型、Agent等技术来提效，希望对你有所帮助。
一、如何用好大模型，让它发挥最大价值？
两条路子，finetune、prompt。代理传统Bert类模型的微调训练的方式，使用更为高效的Prompt来指导LLM（即Prompt Engineer 又称为 In-Cont广电大流量卡ext Prompt），使其产生出期望的结果，无需改变模型的权重。
二、大模型应用领域
当前看大模型冷启动成本较低，泛化能力强，而小模型的可解释性和准确性胜出（行业发展非常之快，这一点在某些领域可以已经反转，受限于笔者的学识，难免局限，还望批评指正）。
各应用场景对可解释性，准确性要求较高，现阶段大、小模型结合落地的主流方式有两种。
第一种为将大模型与小模型进行级联。例如使用大模型从复杂数据源中抓取客户历史交易记录，沟通信息等，对数据进行自动打标，并输出结构化数据，用以丰富小模型数据集，提高小模型预测效果。
第二种为使用大模型作为小模型解决问题的中枢大脑。例如，利用大模型将复杂问题拆解为解决步骤，并在各广电大流量卡步骤调用小模型能力，最后通过大模型进行总结性输出。
应用场景：汇集智慧、唤醒沉睡知识、众创数据价值、数字分身等。
三、在什么条件下，大模型才能更好地发挥价值？
大模型应用走得较快的企业，有三个共同点：
其一，是技术上的积累达标（可以让大模型run起来）。
其二，数字化建设方面做得比较扎实。在数据治理、数据资产管理和数据服务、数据安全管控、数智融合架构等方面，有较为扎实的基础。
大模型训练80%的时间都花在数据准备上。如果能打通数据和AI孤岛，让大模型直接在数据/信息（结构化、非结构化or半结构化）所在的集群上运行，无需搬运，就可以节省大量的时间和资源。其次，是业务流程清晰、明确。已经梳理、甚至是优化成标准广电大流量卡的业务流程、规范。如果再有可衡量的指标作为check标尺，就更为加分。
其三，也是最关键的，需要有一群先驱，能起到带领、试验、示范的作用，快速试错、探路子，进而带动企业内部更多的人参与进来。实现从点、到线、到面、到空间的立体式多渠道的突破。
当一个新事物出现时，往往有下图的5类人出现。他们会依次接受新技术的变更。当灰色的谨慎派、迟钝派群体过大时，想推进下去是非常难得。特别是当反对派的声音占据优势时，甚至会抹杀掉先驱创造的一点点领先优势～。面对大模型，我们自问，我是谁？
四、大模型固有的问题/短板有哪些？
信息高效过滤。抑制幻觉问题，准确性问题，绝对不能出错。专业任务适配。交互定制。推理答案需要一定时间广电大流量卡，而语音通话场景对延时要求较小，大模型无法满足。工业、金融领域大模型还面临着关键性任务和动态适应性、个性化要求和隐私保护、群体智能与安全可信和基础设施的能力四大难题待解决。相信随着大模型领域的高速发展，如上这些问题正在日新月异的被突破，每天的晨报都能给我们带来令人欣喜的消息。
五、在哪些场景下，更适合让大模型发挥作用？
六、企业应用大模型的五个阶段
企业用户对大模型的应用，可以分为5个层级：
简单对话；PROMT做角色定向问答；基于公司内的知识做专业问答；拓展GPT，使用插件，让大模型反馈更精准的信息、做推理，做简单的Agent；Agent簇，让Agent组成一支队伍，完全代替人执行。七、使用大模型的广电大流量卡工作流程
1. 业务痛点梳理。
2. 明确模型、知识等基础组件。
3. 安全评估。
4. 搭建Agent，以查询（Query）模式为例：
Step1.自然语言提问（ChatBot）Step 2.Al智能实时查询（Text to Query）Step3.数据处理（Data Format）Step 4.数据组合（Template Render）生成报告（Data to Report Agent）Step 5.生成回答（ChatBot）Step 6.追问（LangChain ->Function Chaining）5. 灰度上线运营。
6. 上线后效果评估（AB），持续优化。
八、企业内部要建设LLM应用平台吗？广电大流量卡
如何让企业内部快速的把大模型用起来呢？有三条路子可以走：
针对有一定资源（技术储备、人才储备、现金储备等），可以企业内部快速搭建GPT应用平台。赋能业务和运营，全员拥抱大模型时代，寻找应用突破口，类似红衣教主、类似百度内部的做法。或者购买第三方的服务，比如百度、字节、阿里、科大讯飞、商汤等产品。再小范围的，买微软的Copilot账号（包月），最小范围的让研发同学用起来，让听得到炮火的人，先跑起来。作者：杨姝，黄帅，岑锦超
本文由@shucay 授权发布于人人都是产品经理，未经许可，禁止转载
该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。
友情提醒： 请添加客服微信进行免费领取流量卡！
QQ交流群：226333560 站长微信：qgzmt2
原创文章，作者：sunyaqun，如若转载，请注明出处：https://www.dallk.cn/56599.html
