第二章：AI投研基础——机器学习在投资中的应用、深度学习与NLP基础、AI投研与传统量化对比

各位同学，欢迎来到第二章。

这一章，我们不讲策略，不讲回测。我们先聊聊地基——AI投研到底是个什么东西？它跟传统量化有什么区别？

我见过太多人，一上来就调LSTM、跑BERT，结果连过拟合都没搞清楚。嗯，这章就是帮你把地基打牢。

2.1 机器学习在投资中的应用：从线性回归到集成学习

机器学习在投资里，说白了就是「用历史数据，预测未来走势」。但这里有个坑——金融数据信噪比极低，你想想看，市场里90%都是噪音。

我个人习惯，把机器学习在投资中的应用分成三类：

• 预测类：预测涨跌、预测波动率、预测因子收益
• 分类类：识别市场状态（牛/熊/震荡）、识别异常交易
• 优化类：组合优化、交易执行优化

咱们先看一个最简单的例子——线性回归预测收益率。

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression

# 假设我们有一个因子：过去5日动量
df['momentum_5d'] = df['close'].pct_change(5)
df['future_return'] = df['close'].pct_change(1).shift(-1)

# 去掉缺失值
df_clean = df.dropna()

X = df_clean[['momentum_5d']]
y = df_clean['future_return']

model = LinearRegression()
model.fit(X, y)

print(f'因子系数: {model.coef_[0]:.4f}')

这段代码很简单，但我想强调一点：千万不要直接用这个结果去交易。为什么？因为线性回归假设太多——误差独立同分布、线性关系——这在金融市场里基本不成立。

那怎么办？我们通常用更鲁棒的方法：

• 岭回归 / Lasso：加入正则化，防止系数过大
• 随机森林：非线性关系，自带特征重要性
• XGBoost / LightGBM：梯度提升树，目前量化比赛中的常胜将军

我建议，刚开始做AI投研的同学，先从随机森林入手。为什么？因为它解释性强，不容易过拟合，而且调参相对简单。

2.2 深度学习与NLP基础：当机器学会「读」新闻

深度学习在投资里最大的应用，我觉得是另类数据的处理。尤其是NLP——自然语言处理。

你想想看，传统量化只能处理数字：价格、成交量、财务指标。但市场里大量的信息是以文本形式存在的——新闻、公告、社交媒体、研报。

NLP能做什么？

• 情感分析：判断一篇新闻是利好还是利空
• 主题提取：识别市场当前关注的热点
• 实体识别：从文本中提取公司名、人名、产品名

我记得有一次，我们团队用BERT模型分析美联储会议纪要。传统方法只能看「加息」「降息」这些关键词，但BERT能捕捉到「措辞的微妙变化」——比如「谨慎」和「高度警惕」的区别。这个信息差，就是alpha。

来看一个简单的情感分析示例：

from transformers import pipeline

# 加载预训练的情感分析模型
sentiment_pipeline = pipeline(
    "sentiment-analysis",
    model="distilbert-base-uncased-finetuned-sst-2-english"
)

# 模拟两条新闻
news_1 = "Company X reports record quarterly earnings, beating estimates."
news_2 = "Regulatory concerns weigh on tech sector outlook."

result_1 = sentiment_pipeline(news_1)
result_2 = sentiment_pipeline(news_2)

print(f"新闻1: {result_1[0]['label']}, 置信度: {result_1[0]['score']:.2f}")
print(f"新闻2: {result_2[0]['label']}, 置信度: {result_2[0]['score']:.2f}")

2.3 AI投研与传统量化对比：谁更胜一筹？

这个问题，我经常被问到。我的回答是：没有谁取代谁，只有谁更适合什么场景。

咱们直接上对比：

维度	传统量化	AI投研
核心方法	线性回归、统计套利、因子模型	深度学习、NLP、强化学习
数据来源	结构化数据（价格、成交量、财务）	结构化+非结构化（文本、图像、另类数据）
模型复杂度	低，可解释性强	高，黑箱问题突出
过拟合风险	中等	高（需要严格的正则化和验证）
计算资源	低，一台PC足够	高，通常需要GPU集群
适用场景	高频交易、统计套利、因子投资	另类数据挖掘、事件驱动、宏观预测

你看，各有千秋。我个人习惯是：传统量化做「骨架」，AI投研做「血肉」。

举个例子：我做一个行业轮动策略。

• 传统量化部分：用因子模型选出估值低、动量强的行业——这是骨架
• AI投研部分：用NLP分析行业新闻情感，用深度学习预测行业景气度拐点——这是血肉

两者结合，效果往往1+1>2。

2.4 知识体系总览

下面这张图，是我自己梳理的AI投研知识体系。你可以把它当作本章的「地图」：

这张图里，我把AI投研拆成了五个模块。你不需要一次性全部掌握。我的建议是：先攻机器学习基础，再学NLP，最后才是深度学习。顺序很重要。

2.5 本章小结

好，我们来捋一捋这章的核心：

• 机器学习：从线性回归到集成学习，关键是防止过拟合
• 深度学习与NLP：让机器理解文本，FinBERT是金融NLP的利器
• 与传统量化对比：各有优劣，最佳实践是两者结合

最后说一句：不要为了用AI而用AI。我见过太多团队，明明一个简单的动量因子就能赚钱，非要上LSTM，结果模型不稳定，收益还更差。工具是拿来用的，不是拿来炫的。

下一章，我们会正式进入行业轮动策略的设计。但在此之前，请确保你理解了本章的内容——这是所有后续章节的基石。

---