返回博客
算力与 GPU 基建

算力与 GPU 基建

GPU 选型、算力调度、训练与推理加速

11 篇文章

2026年个人开发者算力租用完全指南
算力与 GPU 基建 8 分钟

2026年个人开发者算力租用完全指南

从GPU选型到成本优化,全面解析个人开发者和小微企业如何高效利用弹性算力资源,降低AI开发门槛。

2026-07-15阅读全文
A100 vs RTX 4090:AI训练GPU怎么选
算力与 GPU 基建 10 分钟

A100 vs RTX 4090:AI训练GPU怎么选

从显存、互联、算力密度与租用成本四个维度,对比两代主力训练卡的真实差距。

2026-06-28阅读全文
算力监控与调度:从 Prometheus 到 GPU 看板
算力与 GPU 基建 4 分钟

算力监控与调度:从 Prometheus 到 GPU 看板

搭建 GPU 利用率、显存、温度的监控体系,并实现基于队列的算力调度。

2025-11-22阅读全文
分布式训练框架对比:DeepSpeed vs Megatron
算力与 GPU 基建 4 分钟

分布式训练框架对比:DeepSpeed vs Megatron

ZeRO 与张量并行等技术的原理差异,以及各自擅长的模型规模区间。

2025-11-19阅读全文
GPU 云主机选型:裸金属与虚拟化实例怎么挑
算力与 GPU 基建 4 分钟

GPU 云主机选型:裸金属与虚拟化实例怎么挑

对比裸金属、虚拟机与容器化 GPU 实例的隔离性、性能与运维成本。

2025-11-15阅读全文
从 4090 到 A100:不同规模团队的算力规划
算力与 GPU 基建 4 分钟

从 4090 到 A100:不同规模团队的算力规划

按团队规模与业务阶段给出算力规划路线图,避免过度采购或算力短缺。

2025-11-12阅读全文
推理加速方案对比:TensorRT vs ONNX Runtime
算力与 GPU 基建 4 分钟

推理加速方案对比:TensorRT vs ONNX Runtime

从模型转换、量化、算子融合到批处理,实测两种推理引擎的延迟与吞吐。

2025-11-08阅读全文
算力成本优化:弹性扩缩容与竞价实例
算力与 GPU 基建 4 分钟

算力成本优化:弹性扩缩容与竞价实例

结合任务特性设计弹性策略,利用竞价实例与 Spot 任务把单位算力成本降下来。

2025-11-05阅读全文
GPU 显存优化实战:梯度检查点与混合精度
算力与 GPU 基建 4 分钟

GPU 显存优化实战:梯度检查点与混合精度

把 OOM 问题逐个击破:显存占用分析、梯度检查点、混合精度与序列并行。

2025-11-01阅读全文
训练集群网络架构:NVLink、RDMA 与 InfiniBand
算力与 GPU 基建 4 分钟

训练集群网络架构:NVLink、RDMA 与 InfiniBand

大规模训练的性能瓶颈往往在网络。解析互联技术栈与拓扑设计要点。

2025-10-29阅读全文
GPU 虚拟化技术解析:MIG、vGPU 与容器化
算力与 GPU 基建 4 分钟

GPU 虚拟化技术解析:MIG、vGPU 与容器化

三种主流 GPU 切分方式的原理与适用场景,帮你按业务选择最优隔离粒度。

2025-10-25阅读全文