4、高频因子计算基础：向量化计算与循环计算的性能对比、Numpy/Pandas在高频场景下的优化技巧、Numba与Cython加速入门
做高频因子挖掘，说白了就是跟时间赛跑。
你想想看，同样的Tick数据，别人算一个因子要10分钟，你只要10秒。这差距不是一星半点。我刚开始做高频策略那会儿，就吃过这个亏——写了个漂亮的因子逻辑，结果回测跑了一整夜。第二天一看，嗯，因子失效了。
所以这一章，咱们就聊聊高频计算的核心：怎么让代码跑得飞快。
4.1 向量化 vs 循环：一个天上一个地下
先问个问题：给你100万条Tick数据，计算每笔的价差，你会怎么写？
很多新手会这么干：
# 慢到让人崩溃的写法
prices = [100.1, 100.2, 100.15, ...] # 100万条
spreads = []
for i in range(len(prices)):
spreads.append(prices[i] - prices[i-1] if i > 0 else 0)
这代码逻辑没错，但性能嘛...我建议你千万别在生产环境这么写。
为什么慢？因为Python的循环是解释执行的，每迭代一次都要做类型检查、内存分配。100万次循环，光这些开销就够受的。
换成向量化写法：
import numpy as np
prices = np.array([100.1, 100.2, 100.15, ...])
spreads = np.diff(prices, prepend=0)
这一行代码，速度能快上几十倍。我在项目中遇到过类似场景，用循环跑了3分钟，换成向量化后0.3秒搞定。你想想看，这差距有多大？
核心原则：能用向量化就别用循环。Numpy和Pandas的底层是C语言实现的，向量化操作直接调用C代码，没有Python解释器的开销。
4.2 Numpy/Pandas在高频场景下的优化技巧
光知道向量化还不够。高频场景下，细节决定成败。我总结几个实战中常用的优化点：
4.2.1 数据类型要抠门
默认的float64占8个字节，但很多场景下float32就够了。数据量大的时候，内存占用直接减半，计算速度也能提升。
# 默认是float64
df['price'] = df['price'].astype('float32')
# 整数类型也同理
df['volume'] = df['volume'].astype('int32')
我曾经处理过一只股票的逐笔成交数据，一天就有几十万条。把数据类型从float64降到float32，内存从2GB降到1GB，计算速度提升了将近一倍。
4.2.2 避免链式索引
这个坑我踩过不止一次。Pandas的链式索引（比如df[df['cond']]['col']）会触发多次拷贝，性能极差。
# 不推荐
result = df[df['volume'] > 1000]['price'].mean()
# 推荐
result = df.loc[df['volume'] > 1000, 'price'].mean()
用.loc一次性搞定，既清晰又高效。
4.2.3 善用inplace操作
很多Pandas操作默认返回新对象，这会频繁分配内存。高频场景下，能原地修改就原地修改。
# 不推荐
df = df.dropna()
# 推荐
df.dropna(inplace=True)
小技巧：处理超大数据集时，可以考虑用pd.read_csv(..., dtype={'col': 'float32'})直接指定类型，省得后面再转换。
4.3 Numba与Cython加速入门
有些计算逻辑太复杂，没法完全向量化。这时候就得请出Numba和Cython了。
4.3.1 Numba：一行代码加速
Numba是个JIT编译器，说白了就是把Python函数编译成机器码。用法简单到离谱：
from numba import jit
import numpy as np
@jit(nopython=True)
def calculate_spread(prices):
n = len(prices)
spreads = np.zeros(n)
for i in range(1, n):
spreads[i] = prices[i] - prices[i-1]
return spreads
prices = np.random.rand(1000000)
result = calculate_spread(prices)
加上@jit装饰器，循环代码的速度能接近C语言。我记得第一次用Numba时，一个跑了5分钟的函数，加了一行装饰器后变成了3秒。当时我盯着屏幕愣了好几秒——就这么简单？
注意：nopython=True这个参数很重要。它告诉Numba不要回退到Python模式，否则加速效果会大打折扣。
4.3.2 Cython：更精细的控制
Cython比Numba复杂一些，但控制粒度更细。它允许你在Python代码中声明C类型。
# cython_example.pyx
def calculate_spread_cy(double[:] prices):
cdef int n = prices.shape[0]
cdef double[:] spreads = np.zeros(n)
cdef int i
for i in range(1, n):
spreads[i] = prices[i] - prices[i-1]
return np.asarray(spreads)
用Cython需要写.pyx文件，然后编译。虽然麻烦点，但性能确实好。我在项目中用Cython重写过一些核心因子计算逻辑，速度提升了10倍以上。
4.4 性能对比：一张表看懂
| 方法 | 代码复杂度 | 加速比（相对纯Python循环） | 适用场景 |
|---|---|---|---|
| 纯Python循环 | 低 | 1x | 数据量小，快速验证 |
| Numpy向量化 | 中 | 10-100x | 大多数数值计算 |
| Pandas优化 | 中 | 5-50x | 表格数据处理 |
| Numba JIT | 低 | 50-500x | 复杂循环逻辑 |
| Cython | 高 | 100-1000x | 核心计算模块 |
4.5 知识体系图
下面这张图展示了高频因子计算优化的核心脉络：
4.6 实战建议
说了这么多，到底该怎么选？我个人习惯是这样的：
- 先写向量化版本——80%的场景下，Numpy/Pandas的向量化就够用了。
- 遇到复杂逻辑——比如需要逐笔判断、条件分支多的，上Numba。
- 核心模块——那些每天要跑几百次的因子计算，用Cython重写。
我曾经接手过一个项目，原来的因子计算用了纯Python循环，跑一次要40分钟。我花了一天时间，把核心逻辑用Numba重写，时间降到了2分钟。后来又用Cython优化了最关键的几个函数，最终跑一次只要15秒。
嗯，这就是优化的力量。
记住：优化的前提是代码正确。先保证逻辑没问题，再考虑加速。别为了追求速度写出bug，那才是真正的灾难。
公众号:蓝海资料掘金营，微信deep3321