Ahmad Osman

Ahmad Osman（@TheAhmadOsman）是关于本地 AI、自托管 LLM、推理硬件和推理引擎写作的作者。本 wiki 收录了他的 Self-hosted LLMs Local AI Hardware 系列。

收录文章

• GPU Memory Math for LLMs (2026 Edition) — 解释参数量、bits per weight 和显存估算。
• Memory Bandwidth for Local AI Hardware (2026 Edition) — 解释本地 AI 硬件的容量、内存带宽和软件栈。
• Inference Engines for LLMs & Local AI Hardware (2026 Edition) — 解释 LLM 推理引擎选择与硬件 / workload / serving model 的关系。

相关概念

• Local AI Hardware
• LLM VRAM Sizing
• Memory Bandwidth for LLM Inference
• LLM Inference Engines
• LLM Inference Benchmarking