公司动态

生成式大模型｜MiniGPT-4在边缘端创造新机遇

随着人工智能技术的飞速发展，生成式大模型在各个领域展现出巨大的潜力。然而，将这类模型在边缘端设备上运行，面临着诸多挑战。幸运的是，Jetson平台已适配生成式大模型在边缘端设备上运行，打破了传统AI应用在边缘计算领域的限制。

边缘端设备与生成式大模型优势结合

关注我们的小伙伴应该通过上次的文章了解到飞云智盒RTSS-X102开创性的完成了大模型LLM和Stable Diffussion适配。以大模型为基础的生成式AI在边缘端的落地部署为边缘计算提供了前所未有的新视角。生成式大模型在边缘端部署运行，能够充分利用生成式大模型的强大能力，实现了高效、实时的自然语言处理和图像生成等任务。

高效推理：边缘端设备通过优化算法和模型架构，实现了高效的推理过程。即使在资源受限的设备上，也能快速响应并处理大量数据。
实时生成：边缘端设备能够实时接收输入并生成相应的输出。无论是文字、图像还是音频，都能在短时间内完成生成，确保了与用户需求的即时互动。
隐私保护：在边缘端设备上进行数据处理和模型推理，有助于保护用户隐私。数据无需传输到云端，大大降低了泄露风险。

MiniGPT-4由具有预训练的ViT和Q-Former、单个线性投影层和高级维库纳大型语言模型的视觉编码器组成。MiniGPT-4只需要训练线性层，以使视觉特征与Vicuna保持一致。MiniGPT-4拥有许多类似于GPT-4展示的功能，如详细的图像描述生成和从手写草稿创建网站。此外，MiniGPT-4的还拥有其他新兴功能，包括撰写给定图像启发的故事和诗歌，为图像中显示的问题提供解决方案，教用户如何根据食物照片烹饪等等。
文章的最后关于最新的GTC2024大会将于 2024 年 3 月18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。扫描下方海报二维码，立即注册 GTC 大会。期待大家的参与、关注及支持。

飞云智盒RTSS-X304作为一款边缘大模型一体机，我们在前面对ViT的测试适配运行后，同样能够运行MiniGPT-4。

MiniGPT-4

最近的GPT-4展示了非凡的多模式能力，例如直接从手写文本生成网站和识别图像中的幽默元素。这些特征在以前的视觉语言模型中很少观察到。GPT-4先进的多模态生成能力的主要原因在于利用更先进的大型语言模型（LLM）。MiniGPT-4的创作团队研究这种现象，并提出了MiniGPT-4，它仅使用一个投影层将冻结的视觉编码器与冻结的LLM Vicuna对齐。