私有化大模型边缘部署应用开发系统RTS-LQ-RAG001
RTS-LQ-RAG001 是一套采用当前流行的RAG（检索增强生成）技术实现的私有化大模型边缘部署应用开发系统，使用该系统可以轻松加载企业内部私有化数据库和知识库，通过专用的边缘计算设备调用内置好的语言大模型，生成企业专属的私有化大模型，从而打造企业内部生成式AI应用场景。

边缘计算设备算力性能：

● 2048个NVIDIA 安培架构GPU核心

● 集成64个Tensor核心

● 提供275TOPS INT8澎湃算力

边缘计算设备物理特性：
● 体积小巧：195mm x 210mm x 75mm，便于部署

● 60W低功耗，长达8年超长生命周期，面向企业级应用场景

● 无风扇设计，宽温工作：-25C—+55C

● 强固型铝合金外壳，现场7 x 24小时不间断稳定运行

内置语言大模型：

● 清华chatGlm 1、2、3

● 阿里千问 ( 7B、14B )

● 百川 1、2；7B、13B的4/8bit量化

● LLaMa 1、2

● 书生.浦语

应用开发管理模块：

● 鉴权登陆
● 对话交互
● 并发管理
● 内容过滤
● 记录管理
● 用户管理
● ASR+TTS
● AVATAR

系统管理后台架构：

系统硬件平台——边缘计算设备介绍：275 TOPS INT8算力，12核64位ARM CPU，2048个CUDA核，64个Tensor核；64 GB内存，64GB 外部存储；Ubuntu 20.04操作系统，上电自启动。
可选配资源：WiFi/蓝牙，4G/5G，导航模块（GPS/北斗/GNSS），大容量2TB 工业级固态存储。

系统应用场景：

●企业产品客服问答助理；可以上传企业产品文档、资料、用户手册、规格书、说明书等，利用私有大模型作为智能客服，提供对外服务。

●企业运维知识经验传承助理；可以上传维修文档、手册、工艺、运维知识、运维规程等，利用私有大模型作为智能培训师，对运维新人进行传帮带。

●内部规章制度问答助理；可以上传考勤制度、行政制度、商务流程、财务制度等，利用私有大模型来提升企业内部运转效率。

●法律援助问答助理；可以上传国家法律法规、行业法律法规等，利用私有大模型来提供特色法律援助服务。

●虚拟中医；可以上传中医各项理论、医院中医临床经验等，利用私有大模型来对外提供中医问诊服务。

●虚拟教师，辅导员；可以上传学校课程、教师讲义讲稿、题库、学校各项教学规章制度等，利用私有大模型来对校内学生提供服务。

●政务中心政策咨询助理；可以上传本地政府政策和国家政策等，利用私有大模型来提供24小时政务咨询服务。

●医院导览咨询助理；可以上传医院各项规程、医院地图、就医指导等，通过私有大模型对患者提供看病咨询服务。