LLM Inference on 崔亮 Cui Liang｜AI Agent 工程博客

LLM Inference on 崔亮 Cui Liang｜AI Agent 工程博客 https://cuiliang.ai/tags/llm-inference/ Recent content in LLM Inference on 崔亮 Cui Liang｜AI Agent 工程博客崔亮 Cui Liang｜AI Agent 工程博客 https://cuiliang.ai/og-default.png https://cuiliang.ai/og-default.png Hugo -- 0.147.0 zh Fri, 27 Feb 2026 00:00:00 +0000 推理服务是怎么影响你的 Agent 的：推理框架与架构决策 https://cuiliang.ai/posts/inference-frameworks-for-agent-architects/ Fri, 27 Feb 2026 00:00:00 +0000 https://cuiliang.ai/posts/inference-frameworks-for-agent-architects/ 自顶向下拆解推理框架：延迟构成、上下文成本、模型路由、多模态代价、韧性设计——面向 Agent 架构师的推理层指南。一句话是怎么变成 AI 回复的：LLM 的工作原理 https://cuiliang.ai/posts/how-a-sentence-becomes-an-ai-response/ Sun, 15 Feb 2026 00:00:00 +0000 https://cuiliang.ai/posts/how-a-sentence-becomes-an-ai-response/ 从 Tokenization 到自回归生成，用一句「帮我查一下北京明天的天气」走完 LLM 处理全流程。面向 Agent 开发者的灰盒认知指南。 Prompt Cache：Agent 成本控制的核心约束 https://cuiliang.ai/posts/prompt-caching-core-constraints/ Sat, 17 Jan 2026 00:00:00 +0000 https://cuiliang.ai/posts/prompt-caching-core-constraints/ 从 KV Cache 到 Prompt Cache 的认知跃迁：前缀精确匹配的铁律、Agent 的 I/O 100:1 失衡、以及为什么 Cache-Safe 是 Client 侧工程责任。 KV Cache 原理：LLM 推理的底层机制 https://cuiliang.ai/posts/prompt-caching-kv-cache-fundamentals/ Sat, 10 Jan 2026 00:00:00 +0000 https://cuiliang.ai/posts/prompt-caching-kv-cache-fundamentals/ 从 Token、Embedding、Attention 到 Prefill/Decode，一次讲透 KV Cache 的底层原理。面向 Agent 工程师的推理基础指南。