第一章 优化算法入门：传统优化方法 vs 现代启发式算法

大家好，我是老张。做叶片优化这些年，我踩过不少坑，也积累了一些心得。今天咱们聊聊优化算法的选择问题——这玩意儿选对了，事半功倍；选错了，嗯，你可能得加班到天亮。

1.1 传统优化方法：梯度下降与牛顿法

先说梯度下降。这方法说白了就是「沿着最陡的坡往下滑」。你想想看，在一个山谷里找最低点，你闭着眼睛摸，哪边陡就往哪边迈一步。数学上就是求导，然后往负梯度方向走。

我在项目中遇到过一个问题：用梯度下降优化叶片翼型，结果跑了2000步还在原地打转。后来发现是学习率设得太小了。但调大了又容易震荡——这就是梯度下降的典型毛病。

再说牛顿法。这方法比梯度下降「聪明」一点——它不仅看坡度，还看曲率。就像你下山时不仅知道哪边陡，还知道这坡是越来越陡还是越来越缓。

牛顿法的更新公式长这样：

θ = θ - H⁻¹ · ∇J(θ)
其中 H 是海森矩阵（二阶导数矩阵）

但问题来了：海森矩阵的计算量太大了。我算过，对于一个100维的优化问题，海森矩阵就有10000个元素。你想想看，叶片优化动辄几百个设计变量，这计算量谁受得了？

方法	优点	缺点	适用场景
梯度下降	实现简单，计算快	容易陷入局部最优，收敛慢	凸优化、深度学习
牛顿法	收敛快，精度高	计算量大，需要二阶导数	小规模问题、精度要求高

1.2 现代启发式算法：遗传算法与粒子群

传统方法搞不定的时候，就得请出启发式算法了。说白了，这些算法是「模仿自然」的套路。

遗传算法（GA） 模仿的是生物进化。我习惯把它理解成「优胜劣汰」——好的设计留下来，差的设计被淘汰，再通过交叉、变异产生新设计。

粒子群算法（PSO） 模仿的是鸟群觅食。每个粒子都记住自己找到的最好位置，同时参考群体找到的最好位置。说白了就是「个人经验+集体智慧」。

粒子群的速度更新公式：

v = w·v + c1·r1·(pbest - x) + c2·r2·(gbest - x)
x = x + v

其中：
w 是惯性权重
c1, c2 是学习因子
r1, r2 是随机数

1.3 为什么选择启发式算法？

你可能会问：传统方法不是更严谨吗？为什么还要用这些「不靠谱」的启发式算法？

原因有三：

1. 叶片优化问题太复杂了——目标函数往往是非凸的，有大量局部最优。梯度下降一进去就出不来了。
2. 不需要导数信息——很多叶片仿真软件是黑箱，你根本拿不到梯度。启发式算法只需要「评估结果好不好」就行。
3. 全局搜索能力强——启发式算法天生就是全局搜索的料。我记得有一次做风机叶片优化，遗传算法找到了一个比传统方法好12%的设计。

下面这张图展示了不同优化方法的适用场景：

嗯，这里要注意：不是说传统方法没用。实际上，我经常先用遗传算法跑个大概，再用梯度下降精调。这叫「混合优化策略」，效果往往比单一方法好。

最后说一句：没有银弹。每种算法都有自己的脾气，关键是你得理解它适合解决什么问题。我在项目中吃过不少亏，也捡过不少便宜。慢慢来，多试几次，你也能找到感觉。

---

公众号:蓝海资料掘金营，微信deep3321