服务热线
0755-83044319
发布时间:2025-04-18作者来源:37000Con威斯人浏览:1296
一、国产大模型进入应用拐点,开启AI应用元年
DeepSeek横空出世,大模型技术拐点已至,技术突破引爆应用革命。DeepSeek开启了大模型应用的潘多拉盒子。现在是大模型应用的黄金时期。
1、DeepSeek V3/R1开源,大模型性能好,推理成本低。应用大模型的门槛降下来了,一统了中国大模型江湖。
2、AI Agent成了大模型应用公认的应用形式,企业现在切入AI Agent应用正当时。
二、政务需求定制化的知识库治理和AI agent应用开发
原因是通用的基础大模型基本无法满足我们的实际业务需求。必须做知识库治理,做提示词工程设计,做agent开发,做工作流重构,拆解成数字人员工岗位。
1、有以下有几方面原因:
1)知识的局限性:(缺企业私有知识库)
模型自身的知识完全源于它的训练数据,而现有的大模型的训练集基本都是构建于网络公开的数据,对于一些实时性的、非公开的或离线的数据是无法获取到的,这部分知识也就无从具备。
2)幻觉问题:(没有私有知识库,幻觉无法抑制)
所有的AI模型的底层原理都是基于数学概率,其模型输出实质上是一系列数值运算,大模型也不例外,所以它有时候会一本正经地胡说八道,尤其是在大模型自身不具备某一方面的知识或不擅长的场景。而这种幻觉问题的区分是比较困难的,因为它要求使用者自身具备相应领域的知识。
三、政企为啥要私有化部署
1、数据安全性:
对于企业来说,数据安全至关重要,没有企业愿意承担数据泄露的风险,将自身的私域数据上传第三方平台进行训练。这也导致完全依赖通用大模型自身能力的应用方案不得不在数据安全和效果方面进行取舍。
四、硬件配置选择和应用选择
DeepSeek模型能力分级适用使用场景:
1、尝鲜版
1)PC带一张英伟达4090卡,轻量级推理版本14B
2)个人办公助理,代码补齐,文档处理
2、政企办公助手
1)英伟达八卡4090一体机/H20,或者昇腾910B八卡一台,标准级推理版本32B/70B
2)文档生成,会议纪要记录,报告整理,代码辅助
3、政企生产应用
1)一台8卡H20/H800,信创:两台台昇腾八卡910B,专业级推理版本(满血版671B)
2)企业需要的各类AI应用都可以定制开发,不够再横向扩展。
4、总结
政企用,两个选择,一个办公助手,一个应用开发。
1)32B/70B,
一台英伟达4090/5090/H20,4卡/8卡
信创:一台昇腾910B
2)满血671B,
一台英伟达H20/H800,8卡
信创两台/四台昇腾910B
免责声明:本文来源于“数字化转型分享”公众号,本文仅代表作者个人观点,不代表37000Con威斯人及行业观点,只为转载与分享,支持保护知识产权,转载请注明原出处及作者,如有侵权请联系我们删除。
企业咨询和陪跑请扫码联系
友情链接:站点地图 37000Con威斯人官方微博 立创商城-37000Con威斯人专卖 金航标官网 金航标英文站
Copyright ©2015-2025 37000Con威斯人(中国)有限公司-Weixin百科 版权所有 粤ICP备20017602号