前端·后端·运行时
|
Engine·Plugin·Builder
|
推理流程
GPU·驱动
|
CUDA·cuDNN·TensorRT
|
源码/Docker
ONNX导出
|
ModelConfig·Builder
|
序列化
FlashAttention·GQA·MoE
|
注册·加载
|
C++/CUDA开发
FP16·INT8·INT4·FP8
|
SmoothQuant·AWQ·GPTQ
|
精度·性能权衡
KV Cache问题
|
PagedAttention
|
Block管理·Page大小
Client->LB->Worker
|
请求队列·负载均衡
|
健康检查·高可用
Triton架构
|
TensorRT-LLM Backend
|
模型仓库·动态批处理
TTFT·TPOT·ITL·吞吐
|
perf_analyzer
|
场景设计·结果分析
Engine参数调优
|
量化精度·Plugin
|
显存池·CPU offload
数值误差来源
|
cosine similarity·RMSE
|
量化后验证·回归
Engine加密
|
API鉴权·Token
|
RBAC·审计
Prometheus·Grafana
|
GPU利用率·延迟·QPS
|
告警规则
DVC·Git LFS
|
Jenkins/GitLab CI
|
灰度发布·回滚
模型下载·转换
|
Engine构建
|
服务化·性能测试
模型适配·Tokenizer
|
Engine构建
|
对话服务
视觉编码器
|
多模态融合
|
Engine·服务化
SSE原理
|
WebSocket集成
|
前端适配
模板设计
|
动态拼接
|
Redis/DB·版本管理
RAG架构
|
Milvus/FAISS
|
Embedding·检索生成
A100/H100/L40S
|
TCO·弹性伸缩
|
Spot实例