ai-infra skillA
ai-infra is agent-read markdown (skill) from yuecao365/offercome: 大模型推理与训练基础设施怎么面：KV cache、调度、并行、量化算子、服务指标、训练集群。AI Infra 岗读。.
Indexed from public GitHub and served as immutable, content-addressed versions. Install it pinned to an exact SHA-256 with the mdr CLI, and every file is verified against the hash recorded here before it reaches your agent. The deterministic audit below grades the latest version, and the same file always earns the same grade.
What the file says
## 面试官在意什么 AI Infra 工程师（大模型推理优化、推理引擎、大模型系统、训练框架与集群）做的是让模型跑得快、跑得起、跑得稳：推理侧管显存（KV cache）、调度（批处理与抢占）、并行（张量 / 流水 / 专家）、算子（attention、量化内核）、服务（路由、SLO、多租户）；训练侧管千卡集群的并行策略、通信、checkpoint 与故障恢复。它和算法岗的分界是：算法岗问"为什么这个模型好"，Infra 岗问"这个模型在这批卡上每秒能出多少 token、首 token 多少毫秒、显存花在哪、还能怎么省"。真实面试三到四轮：一面考 GPU 体系结构、并发与内存基础加手撕（C++ / CUDA 或 Python 实现一个 attention / softmax / 分块 kernel），二面深挖推理或训练系统里候选人负责的那一段的数字与故障，三面给一个部署场景现场算账（多少卡、多大 batch、能到多少吞吐、瓶颈在哪），主管面看对开源引擎（vLLM、SGLang、TensorRT-LLM）的理解深度与贡献。 面试官最在意四件事：第一，能不能算账——一个 7B / 70B 模型的权重、KV cache 每 token 占多少显存，一张卡能放多少并发，decode 为什么卡在显存带宽而不是算力，用 roofline 判断算子是算力密集还是带宽密集；第二，对推理引擎的机制理解到实现层——PagedAttention 解决了什么碎片问题、continuous batching 在哪一级插入新请求、prefix caching 的命中条件、投机解码的接受率与加速比关系；第三，有没有真实的性能故障与定位过程——TTFT 突增、吞吐上不去、GPU 利用率低、OOM、抢占风暴，从现象到 profiler 到根因；第四，取舍能不能落到 SLO 与成本——延迟、吞吐、显存、精度四者怎么在一个具体业务下排序。 校招侧重：CUDA 编程模型（grid / block / warp、共享内存、合并访存）、GPU 内存层次、attention 的计算与显存复杂度、能读懂 vLLM 一个模块的源码并解释它；社招侧重：生产级服务的调度与 SLO、多模型多租户、PD 分离与 MoE 并行这类大集群问题、算子级优化的实测数字、训练集群的故障率与恢复时间、对开源引擎的贡献或深度定制。 怎么问才像这个方向的面试官： - 每道题都要算数字：候选人说了任何优化，追优化前后的 TTFT / TPOT / 吞吐 / 显存与测量条件（模型、卡、batch、序列长度）；没有数字的优化不算成果。 - 从现象到机制：不问"PagedAttention 是什么"，问"显存还有 20% 空闲却 OOM 或拒绝新请求，你怎么查"，让候选人自己走到分页与碎片。 …
Read the whole file at its exact version.
How to install
mdr add yuecao365/offercome/ai-infra@git:20260920.a4843f5mdr add yuecao365/offercome/ai-infra@sha256:abccdce740a24c33Pin to a label to follow the author's releases, or to a sha256 to freeze the exact bytes forever. Either way the resolved hash is written to mdr.lock, and mdr install reproduces it on any machine.
[](https://markdownregistry.com/a/art_kkysct7nul2duinq)
1 badge views in 30 days
Versions
Audit of the latest version
- pass: Frontmatter block present
- pass: Frontmatter declares a name
- pass: Frontmatter declares a description
- pass: Size between 200 bytes and 200 KB (12910 bytes)
- pass: No zero-width or bidi control characters
- pass: No instruction hidden inside an HTML comment
- pass: No link to an exfiltration or paste host
- pass: No credential-shaped string
- pass: No instruction to send local credentials anywhere
- pass: No text hidden with inline styles
- pass: No prompt-injection phrasing
- pass: No curl or wget piped into a shell
- pass: No recursive delete of root, home or parent
- pass: No instruction to read or print local credentials
- pass: No base64 blob over 200 characters
- pass: No link to a raw IP address
- pass: No script tag
Source
yuecao365/offercome · 23 stars · license MIT · pushed 2026-09-23 · branch main
API
GET https://markdownregistry.com/api/v1/artifacts/art_kkysct7nul2duinq GET https://markdownregistry.com/api/v1/resolve?ref=yuecao365/offercome/ai-infra GET https://markdownregistry.com/api/v1/blob/abccdce740a24c33afb0611b3034de8b7f7fb16b62aa5a058524247dc18de15b
Your agent does the legwork. You hear about the deals worth your word. Hand yours the standing instructions at modelranch.com and it joins the network that reads files like this one.