什么是上下文窗口？每个 LLM 用户都应了解的基础知识

上下文窗口是大语言模型单次请求能处理的 token 总量，涵盖提示词、对话历史、检索文档、工具结果与模型输出。更大的窗口能同时容纳更多代码与文档，但并非完美记忆：Lost in the Middle 研究与 NVIDIA 的 RULER benchmark 发现，上下文越长模型对信息的利用越差，尤其容易忽略中段内容。检索、摘要与缓存等上下文管理手段通常比单纯堆叠 token 更有效。