| 问答后端服务 | 问答前端服务 | Elasticsearch数据库 | Milvus数据库 | Minio数据库 | 解析实例 | |
| 操作系统 | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) |
| CPU | 8 cores | 4 cores | 8 cores | 8 cores | 4 cores | 8 cores |
| 内存 | 16GB | 8GB | 32GB | 64GB | 8GB | 16GB |
| 硬盘 | 50GB | 50GB | 200GB | 200GB | 200GB | 50GB |
| GPU | 2 * L20 | / | / | / | / | 1 * L20 |
| GPU最小显存* | 2 * 12GB = 24GB | / | / | / | / | 16GB |
| GPU建议显存* | 2 * 24GB = 48GB | / | / | / | / | 16GB |
| GPU算力* | 2 * 119.5 = 239 | / | / | / | / | 119.5 |
| *最小显存是能运行系统所需的最低配置,这个时候同时在线访问能力和模型上下文长度会收到限制,无法发挥全部能力 | ||||||
| *L20算力flops按照fp16大约119.5计算 | ||||||
| *A800算力flops按照fp16大约312计算 | ||||||
| 注:以上资源情况是根据历史经验得出,实际部署是可能会因需求差异,导致部署资源有所调整 | ||||||
| Agent后端服务 | Agent前端服务 | Elasticsearch数据库 | Milvus数据库 | Minio数据库 | Postgres数据库 | 解析实例 | deliver服务 | mermaid服务 | 报告生成服务 | SQL问答 | |
| 操作系统 | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) | Linux(预装docker>=20.10.0) |
| CPU | 8 cores | 4 cores | 8 cores | 8 cores | 4 cores | 4cores | 8 cores | 2 cores | 2 cores | 4 cores | 4cores |
| 内存 | 16GB | 8GB | 32GB | 64GB | 8GB | 8GB | 16GB | 4GB | 4GB | 8GB | 8GB |
| 硬盘 | 50GB | 50GB | 200GB | 200GB | 200GB | 200GB | 50GB | 200GB | 200GB | 50GB | 50GB |
| GPU | 2 * L20 | / | / | / | / | / | 1 * L20 | / | / | / | - |
| GPU最小显存* | 2 * 12GB = 24GB | / | / | / | / | / | 16GB | / | / | / | - |
| GPU建议显存* | 2 * 24GB = 48GB | / | / | / | / | / | 16GB | / | / | / | - |
| GPU算力* | 2 * 119.5 = 239 | / | / | / | / | / | 119.5 | - | |||
| *最小显存是能运行系统所需的最低配置,这个时候同时在线访问能力和模型上下文长度会收到限制,无法发挥全部能力 | |||||||||||
| *L20算力flops按照fp16大约119.5计算 | |||||||||||
| *A800算力flops按照fp16大约312计算 | |||||||||||
| 注:以上资源情况是根据历史经验得出,实际部署是可能会因需求差异,导致部署资源有所调整 | |||||||||||
| 多模态解析服务 | 定制化报告 | |
| 操作系统 | Linux(预装 docker>=20.10.0) | Linux(预装 docker>=20.10.0) |
| CPU | 16 cores | 4cores |
| 内存 | 64GB | 8GB |
| 硬盘 | 200GB | 200GB |
| GPU | 4 * H20 | - |
| GPU 最小显存 * | 4 * 24GB = 96GB | - |
| GPU 建议显存 * | 4 * 24GB = 96GB | - |
| GPU 算力 * | 4 * 298.8 = 1195.2 | - |
| 注:以上资源情况是根据历史经验得出,实际部署是可能会因需求差异,导致部署资源有所调整 | ||