个人技术笔记

把学习 AI 的过程,
留成能复用的笔记。

这里记录我在大模型推理、训练与 Agent 工程上的阅读和实践。写完的东西会一直留在这里,供自己和同好回看。

本周在读

KV cache

key-value cache

点一下,看我的理解

把注意力算过的中间状态存下来,用显存换时间。难点不在缓存本身,而在判断哪些能复用、哪些必须重算。

笔记 · 推理优化

最近写的几篇

  1. KV cache 复用的三种粒度:从 page 到 prefix

    显存不够时总说要省 KV,但省在哪一层决定了要不要重算。这篇把 page、sequence、prefix 三级复用拆开对比。

  2. 用 Landlock 给 Agent 的 shell 上锁

    一次最小权限实践:deny-by-default 之外,真正麻烦的是把网络和临时目录写清楚,否则脚本根本跑不起来。

  3. 投机解码读后记:接受率不是全部

    论文里的接受率很高,端到端却没快多少。草稿模型的开销和批处理形状,会把这部分收益吃掉一半。

  4. 把 Agent 的工具调用写成可审计的账本

    每次调用记什么字段,决定了事后能不能复盘。我按请求、决策、执行三段记账,踩了两个坑。

  5. LoRA 合并的数值坑:bf16 下的权重漂移

    合并后推理,输出和合并前对不上。用 fp32 累加、逐层比对误差,才定位到这处漂移来自哪里。

  6. 推理服务调度器在读什么:一次 profile 记录

    把等待时间拆成排队、拷贝和预处理三段,才发现瓶颈不在我以为的算子那里。

  7. 长上下文外推的几种做法与代价

    位置插值、分块注意力、检索增强各自解决不同问题,混着用时要先想清楚哪一层在退化。

按专题整理的长笔记

推理优化手记

18 篇

从显存账本、批处理形状到 KV 复用,把线上推理服务的每一次变慢拆开看。

  • 显存账本:参数、KV、临时激活各占多少
  • 连续批处理下的延迟分布
  • 量化到 4bit 之后,精度掉在哪

Agent 安全工程

12 篇

沙箱、权限边界与审计账本,记录我怎么给能动手的程序加锁。

论文精读

27 篇

只写读完之后仍然记得的部分,以及我还没被说服的地方。

最近在读与在写

基础

  • 注意力机制与位置编码
  • 训练目标与数据配比
  • 评测集该怎么读

工程

  • 推理服务与并发调度
  • 量化、蒸馏与合并
  • 可观测性与成本核算

安全

  • 进程沙箱与最小权限
  • 工具调用的审计
  • 凭证与网络边界

在看

  • 投机解码的工程实现
  • 长上下文的外推方法
  • 评测噪声与置信区间

关于本站

一个普通工程师的技术笔记站

这个站点是我个人学习和写作的地方。写下来的内容来自阅读、试验与排错记录,多数是自己踩过坑之后才敢写的部分,不保证适用于所有场景。

本站不放广告、不卖课程、不提供付费服务,也没有开放注册和评论。文章为个人原创记录,引用他人成果时会在文中标注来源。发现错误欢迎指出,我会在原文上更正。

网站性质
个人非经营性技术笔记站
内容范围
大模型推理、训练与 Agent 工程
更新节奏
每月四到六篇,写完即发
原创声明
文章为个人原创,转载需联系
互动功能
无注册、无评论、无留言板
站点联系
见页面底部备案信息