欢迎光临~瑞泰新时代(北京)科技有限公司
语言选择: 中文版 ∷  英文版

大模型私有化

私有化大模型边缘部署应用开发系统RTS-LQ-RAG001
RTS-LQ-RAG001 是一套采用当前流行的RAG(检索增强生成)技术实现的私有化大模型边缘部署应用开发系统,使用该系统可以轻松加载企业内部私有化数据库和知识库,通过专用的边缘计算设备调用内置好的语言大模型,生成企业专属的私有化大模型,从而打造企业内部生成式AI应用场景。

边缘计算设备算力性能:

2048个NVIDIA 安培架构GPU核心

集成64个Tensor核心

提供275TOPS INT8澎湃算力


边缘计算设备物理特性:
● 体积小巧:195mm x 210mm x 75mm,便于部署

● 60W低功耗,长达8年超长生命周期,面向企业级应用场景

● 无风扇设计,宽温工作:-25C—+55C

● 强固型铝合金外壳,现场7 x 24小时不间断稳定运行


内置语言大模型:

● 清华chatGlm 1、2、3

● 阿里千问 ( 7B、14B )

● 百川 1、2;7B、13B的4/8bit量化

● LLaMa 1、2

● 书生.浦语




应用开发管理模块:

● 鉴权登陆
● 对话交互
● 并发管理
● 内容过滤
● 记录管理
● 用户管理
● ASR+TTS
● AVATAR

系统管理后台架构:

系统硬件平台——边缘计算设备介绍:275 TOPS INT8算力,12核64位ARM CPU,2048个CUDA核,64个Tensor核;64 GB内存,64GB 外部存储;Ubuntu 20.04操作系统,上电自启动。
可选配资源:WiFi/蓝牙,4G/5G,导航模块(GPS/北斗/GNSS),大容量2TB 工业级固态存储。





系统应用场景:

●企业产品客服问答助理;可以上传企业产品文档、资料、用户手册、规格书、说明书等,利用私有大模型作为智能客服,提供对外服务。

●企业运维知识经验传承助理;可以上传维修文档、手册、工艺、运维知识、运维规程等,利用私有大模型作为智能培训师,对运维新人进行传帮带。

●内部规章制度问答助理;可以上传考勤制度、行政制度、商务流程、财务制度等,利用私有大模型来提升企业内部运转效率。

●法律援助问答助理;可以上传国家法律法规、行业法律法规等,利用私有大模型来提供特色法律援助服务。

●虚拟中医;可以上传中医各项理论、医院中医临床经验等,利用私有大模型来对外提供中医问诊服务。

●虚拟教师,辅导员;可以上传学校课程、教师讲义讲稿、题库、学校各项教学规章制度等,利用私有大模型来对校内学生提供服务。

●政务中心政策咨询助理;可以上传本地政府政策和国家政策等,利用私有大模型来提供24小时政务咨询服务。

●医院导览咨询助理;可以上传医院各项规程、医院地图、就医指导等,通过私有大模型对患者提供看病咨询服务。


项目洽谈请联系:info@realtimes.cn







关闭
用手机扫描二维码关闭
二维码