01 流水线基础
流水线架构概述
多模型流水线vs 单体模型视频审核推荐系统
02 性能度量
性能指标定义
吞吐量延迟P99资源利用率成本效益
03 模型生命周期
模型加载与卸载策略
懒加载预加载热加载版本管理
04 流量调度
请求路由与负载均衡
模型类型路由负载路由一致性哈希
05 批处理
批处理优化
动态批处理固定批处理微批处理超时策略
06 异步 & 消息
异步处理与消息队列
生产者-消费者RabbitMQ/Kafka回调
07 显存管理
GPU显存管理
显存池化碎片整理模型分片监控
08 异构计算
CPU与GPU异构计算
CPU预处理/GPU推理流水线并行数据并行
09 模型轻量化
模型量化与压缩
INT8量化FP16混合精度知识蒸馏剪枝
10 推理引擎
推理引擎选择
TensorRTONNX RuntimeOpenVINOTriton
11 缓存加速
缓存策略
结果缓存特征缓存LRU/LFURedis
12 韧性设计
超时与重试机制
请求超时指数退避熔断器
13 可观测性
监控与可观测性
PrometheusGrafanaELKJaeger
14 弹性伸缩
自动扩缩容
K8s HPA基于QPS资源利用率
15 发布策略
A/B测试与金丝雀发布
流量切分模型版本对比回滚
16 冷启动
预热与冷启动优化
模型预热预加载池JIT编译预热
17 内存/显存
内存与显存泄漏排查
Valgrindnvidia-smiGC调优
18 网络优化
网络延迟优化
gRPC vs REST连接池HTTP/2TCP调优
19 数据管道
数据预处理流水线
数据增强特征工程并行预处理
20 工作流编排
模型组合与编排
DAG工作流条件分支并行执行超时控制
21 安全防护
安全与鉴权
API密钥JWT速率限制白名单
22 审计日志
日志与审计
结构化日志动态级别审计追踪脱敏
23 配置中心
配置管理
环境变量Consul/etcd热更新版本化
24 依赖管理
依赖管理
Python venvDockerConda依赖冲突
25 CI/CD
CI/CD流水线
模型测试性能基准自动部署回滚
26 成本控制
成本优化
Spot实例预留实例按需扩缩模型共享
27 多租户
多租户隔离
资源配额命名空间请求优先级租户监控
28 高可用
故障恢复与高可用
主备切换多副本健康检查自动恢复
29 压测
性能基准测试
wrk/siege性能报告回归测试瓶颈分析
30 实战
案例实战
视频审核流水线推荐系统优化大模型服务