推理优化手记
18 篇从显存账本、批处理形状到 KV 复用,把线上推理服务的每一次变慢拆开看。
- 显存账本:参数、KV、临时激活各占多少
- 连续批处理下的延迟分布
- 量化到 4bit 之后,精度掉在哪
显存不够时总说要省 KV,但省在哪一层决定了要不要重算。这篇把 page、sequence、prefix 三级复用拆开对比。
一次最小权限实践:deny-by-default 之外,真正麻烦的是把网络和临时目录写清楚,否则脚本根本跑不起来。
论文里的接受率很高,端到端却没快多少。草稿模型的开销和批处理形状,会把这部分收益吃掉一半。
每次调用记什么字段,决定了事后能不能复盘。我按请求、决策、执行三段记账,踩了两个坑。
合并后推理,输出和合并前对不上。用 fp32 累加、逐层比对误差,才定位到这处漂移来自哪里。
把等待时间拆成排队、拷贝和预处理三段,才发现瓶颈不在我以为的算子那里。
位置插值、分块注意力、检索增强各自解决不同问题,混着用时要先想清楚哪一层在退化。
这个分类下暂时还没有手记,换一个看看。
从显存账本、批处理形状到 KV 复用,把线上推理服务的每一次变慢拆开看。
沙箱、权限边界与审计账本,记录我怎么给能动手的程序加锁。
只写读完之后仍然记得的部分,以及我还没被说服的地方。
关于本站
这个站点是我个人学习和写作的地方。写下来的内容来自阅读、试验与排错记录,多数是自己踩过坑之后才敢写的部分,不保证适用于所有场景。
本站不放广告、不卖课程、不提供付费服务,也没有开放注册和评论。文章为个人原创记录,引用他人成果时会在文中标注来源。发现错误欢迎指出,我会在原文上更正。