把大模型接进自己的网站或工具时，除了提示词，下面这些工程上的细节同样重要。
超时和流式输出
长回答可能要生成一两分钟。请求链路中间的代理或 CDN 往往在几十秒没有数据时就断开连接，常见的表现是 504、524 错误。改用流式输出（SSE）后，第一个字很快就会返回，连接不会被判定为超时，用户也能边生成边看。
控制成本
- 按任务选模型：分类、提取、改写用小模型，复杂推理和长文写作再用大模型。
- 设置合理的最大输出长度，避免一次请求生成远超需要的内容。
- 把固定不变的系统提示放在最前面。不少厂商支持前缀缓存，命中缓存的部分更便宜也更快。
安全和隐私
- API 密钥只放在服务端，前端通过自己的接口转发，并加上鉴权和限流。
- 用户的隐私数据不要原样发给第三方模型。
- 模型的输出当作不可信的输入处理，渲染成 HTML 之前要做过滤。
可观测
记录每次请求的模型、耗时、输入输出的 token 数和错误码。出问题时才能分清是网络、额度、超时，还是提示词本身的问题。