01
实时特征工程概述
为什么需要实时特征?实时系统 vs 批处理系统,实时特征工程的挑战。
基础概念
02
时间序列数据基础
时间戳处理、重采样、滑窗概念,Pandas时间序列操作。
Pandas时序
03
实时数据源接入
WebSocket、Kafka、REST API,数据解析与缓存策略。
数据源Kafka
04
特征计算框架选型
Flink、Spark Streaming、Dask,轻量级方案对比。
框架选型
05
滑动窗口特征
滚动均值、滚动标准差、滚动相关系数,窗口边界处理。
滑窗统计
06
衰减权重特征
指数加权移动平均(EWMA),半衰期参数调优,实战案例。
EWMA衰减
07
实时统计特征
最大值、最小值、峰度、偏度,分位数计算与近似算法。
统计分位数
08
价格衍生特征
收益率、对数收益率、价格差、归一化价格,实时计算要点。
价格衍生
09
波动率特征
真实波动范围(ATR)、历史波动率、已实现波动率,实时更新。
波动率ATR
10
成交量特征
成交量加权均价(VWAP)、成交量变化率、成交量分布。
成交量VWAP
11
订单簿特征
买卖价差、订单簿斜率、订单簿不平衡,深度特征提取。
订单簿微观
12
盘口微观结构特征
Tick数据特征、交易量冲击、订单到达率。
Tick微观
13
技术指标实时化
MACD、RSI、布林带,从离线到在线的改造。
指标MACD
14
模式识别特征
K线形态、趋势线突破、支撑阻力位实时检测。
形态模式
15
跨品种特征
相关性矩阵、领先滞后关系、价差套利特征。
跨品种相关性
16
文本与情绪特征
新闻情感分析、社交媒体情绪,实时NLP管道。
NLP情绪
17
特征存储与版本管理
特征存储(Feast)、特征注册表、时间旅行查询。
Feast存储
18
特征新鲜度监控
延迟检测、数据质量指标、告警机制。
监控质量
19
特征计算性能优化
向量化操作、JIT编译(Numba)、并行计算。
性能Numba
20
内存管理策略
环形缓冲区、对象池、内存映射文件。
内存缓冲区
21
特征回溯测试
历史回放引擎、时间对齐、前瞻偏差避免。
回测对齐
22
特征重要性评估
在线特征选择、SHAP值实时计算、特征漂移检测。
SHAP漂移
23
实时特征管道架构
Lambda架构、Kappa架构,端到端设计。
架构Lambda
24
特征服务化
REST API、gRPC服务、低延迟特征查询。
APIgRPC
25
特征工程自动化
AutoFeature、遗传编程特征搜索,实时场景适配。
AutoML搜索
26
高频数据特征
纳秒级时间戳、Tick级特征、微结构特征。
高频Tick
27
异常检测特征
Z-Score、孤立森林、实时异常评分。
异常孤立森林
28
特征组合与交互
多项式特征、笛卡尔积、特征交叉,实时计算。
组合交互
29
实战案例一:股票分钟级
股票分钟级实时特征系统,从数据接入到模型推理。
实战股票
30
实战案例二:加密货币高频
加密货币高频特征管道,延迟优化与成本控制。
实战加密