Differentiable Optimization 工作整理
2020年3月31日
在深度学习中，可微（Differentiable）是一个很重要的环节，可微意味着能够进行训练。在 SLAM 和很多 3D 系统中，后端往往伴随着大量的在线优化（Optimization）算法，这些算法对于整个 pipeline 很重要，如果要进行 End-to-end 学习的话，如果随意用回归之类的方法代替优化，往往不能取得满意的效果。一个比较简单直接的思想也就是把优化部分进行可微化，这样就可以比较容易地进行替换。
目前基于将优化算法可微化的论文和开源工作感觉还比较有限，这里就看到的一些进行整理，大家如果有相关工作欢迎留言补充。
| 标题 | 论文 | 源码 | 说明 |
|---|---|---|---|
| Differentiable Convex Optimization Layers | Github | 可微凸优化库，基于 CVXPY，包含 PyTorch 和 Tensorflow 版本 | |
| OptNet: Differentiable Optimization as a Layer in Neural Networks | Github | 针对 Quadratic Programming 问题的可微算法。包含 PyTorch 版本 | |
| Theseus: A Library for Differentiable Nonlinear Optimization | Github | 针对机器人场景 PyTorch 非线性最小二乘问题的可微优化库，包含 GN、LM 以及李群李代数等。 |
