3、网格搜索法：基本原理、实现步骤、优缺点分析、适用场景

说到参数调优，网格搜索法绝对是最基础、最直观的方法之一。我刚开始做模型调参那会儿，第一个接触的就是它。说白了，网格搜索就是「穷举」——把你觉得可能靠谱的参数值都列出来，然后两两组合，挨个试一遍。

3.1 基本原理

网格搜索的核心思想很简单：暴力枚举。

假设你有一个模型，需要调两个参数：学习率（learning rate）和树的最大深度（max_depth）。你心里大概有个范围——学习率可能是 [0.01, 0.1, 0.5]，树深度可能是 [3, 5, 7]。网格搜索会把这 3×3=9 种组合全部跑一遍，然后告诉你哪一组效果最好。

嗯，这里要注意：网格搜索不是随便乱试的。它要求你事先定义好一个「参数网格」，也就是所有候选值的笛卡尔积。然后对每一组参数，用交叉验证评估模型性能，最后选出最优的那一组。

我给大家画个图，方便理解这个搜索过程：

3.2 实现步骤

网格搜索的实现其实就四步，我给大家拆开讲：

1. 定义参数空间——把你觉得可能靠谱的参数值列出来。比如学习率 [0.01, 0.1, 1.0]，正则化系数 [0.001, 0.01, 0.1]。
2. 构建参数组合——用笛卡尔积生成所有组合。这一步其实不用你手动算，sklearn 的 ParameterGrid 会帮你搞定。
3. 交叉验证评估——对每一组参数，跑 K 折交叉验证，取平均分作为该组参数的得分。
4. 选择最优参数——从所有组合中挑出得分最高的那一组。

来，看个代码示例，我用的是 sklearn 的 GridSearchCV：

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris

# 加载数据
data = load_iris()
X, y = data.data, data.target

# 定义模型
rf = RandomForestClassifier(random_state=42)

# 定义参数网格
param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [3, 5, 7, None],
    'min_samples_split': [2, 5, 10]
}

# 网格搜索
grid_search = GridSearchCV(
    estimator=rf,
    param_grid=param_grid,
    cv=5,           # 5折交叉验证
    scoring='accuracy',
    n_jobs=-1,      # 使用所有CPU核心
    verbose=1
)

# 开始搜索
grid_search.fit(X, y)

# 输出结果
print(f"最优参数: {grid_search.best_params_}")
print(f"最优得分: {grid_search.best_score_:.4f}")

3.3 优缺点分析

网格搜索的优点很明显，缺点也很致命。我直接给大家列个表：

维度	优点	缺点
效果	一定能找到网格内的最优组合	如果网格定义不好，可能错过真正的最优解
速度	实现简单，容易并行化	组合数随参数数量指数增长——「维度灾难」
可解释性	结果直观，谁都能看懂	无法利用历史搜索信息，每次都是从头开始
适用性	参数少（≤3个）时效果很好	参数多（≥5个）时基本跑不动

为什么会这样？你想想看，如果你有 5 个参数，每个参数取 10 个候选值，那就是 10⁵=100,000 种组合。每种组合跑一次 5 折交叉验证，假设每次训练需要 10 秒——那就是 100,000 × 5 × 10 ≈ 1,389 小时，差不多 58 天。嗯，这谁等得起？

3.4 适用场景

网格搜索不是万能的，但它在某些场景下确实很香：

• 参数数量少（≤3个）——比如 SVM 的 C 和 gamma，或者决策树的 max_depth 和 min_samples_split。这时候网格搜索又快又稳。
• 参数范围明确——比如你知道学习率肯定在 [0.001, 0.1] 之间，而且你只关心这几个离散值。
• 计算资源充足——公司有 GPU 集群或者云服务器，跑个几百种组合不心疼。
• 模型训练速度快——像逻辑回归、朴素贝叶斯这种轻量级模型，网格搜索完全没问题。
• 作为基线方法——我经常先用网格搜索跑一遍，拿到一个「差不多」的结果，再用贝叶斯优化或者随机搜索去精调。

说白了，网格搜索就像是你去菜市场买菜——如果只买两三样，挨个摊位问一遍没问题。但如果你要买二十样东西，还挨个问，那效率就太低了。这时候你就得换个方法，比如随机搜索或者贝叶斯优化。

---