作为最优化方向的研究生，你有什么值得分享的体验？

看优化算法书时多编程，实现经典算法，会发现对算法的理解上了一个层次。另外，不要搞进化算法，搞确定性算法。

数学基础要打好，数分高代矩阵论泛函分析概率论

和很多学科类似，最优化理论也有一个层层递进的结构，入门级的理论和前沿理论有很大的差异。比如入门的时候大家很喜欢从直观的角度来理解算法，最经典的例子就是以“瞎子爬山”来理解梯度下降。再比如，Boyd的书里就讲了很多直观理解KKT条件的方法（从不同的角度出发）。

这样做本身是没有问题的，但是需要谨记，不宜过度追求直观理解，应当选择适当的时机过渡到严谨的数学理解上。此举的重要性体现在两个方面：首先，数学理解通常会提供一个整体视角，便宜将表面上看似无关的知识串联起来；其次，数学理解可以让你很方便地进入更深层次的理论。还是以经典的KKT条件为例，从现代的变分分析的语言（下降锥、切锥、极锥等）出发，几乎任何类型的凸优化问题对应的KKT条件都有一个统一的、严谨的数学解释，这就极大的解放了你的认知力。

其实最优化理论所需要的数学储备并不是特别深，主要集中在分析方向，数学分析、矩阵分析、实变函数、泛函分析等。数学分析大家本科都学过，比较容易；矩阵分析一般研究生课程都会开，也比较容易；实变函数其实本身用的不多，但这门课所传授的方法论却尤为重要，比如各种证明的技巧、开解问题的思路等等，实变函数难度很大；泛函分析其实是一门很简单的课程，虽然泛函分析是实变函数的后续课程，但其实它要简单很多。这么历数下来，其实要啃的硬骨头也没多少。

对于工科专业，问题建模和问题求解具有相同的重要性，但是你要建出好的模型，那你通常需要比较了解最优化算法。如果对问题求解一无所知，那建出来的模型一般经不起论证。问题建模和问题求解并不是两个互相割裂的领域，只不过问题建模更需要思维开阔，而问题求解更考验知识储备。

在研究最优化的时候，应广读论文，尽量多了解各个方向的问题和算法。很多东西其实是互相交汇的，比如最近有个通信方向的同学问我 minimum enclosing ball问题的求解，这个问题在最优化领域也是有人研究的。再比如通信领域里常见的sum rate maximization问题，其实还是没怎么结合到前沿的最优化理论和算法的。