Category: 理论

Multi-Task Learning (MTL) 问题一个典型方法就是把所有的 Loss 放在一起优化，但是往往又需要设置不同权重。传统方法中往往根据不同 Loss 的量级等人为分析、实验等设置合理的权重，但是取得理想效果往往需要大量工作。本文提出了一种使用 Uncertainty 自动学习权重的方式。 如下图展示了一个典型的 Multi-Task Learning 的场景，同时学习 Semantic、Instance 和 Depth，这一场景包含了分类、特征学习、回归任务，比较典型，也是本文的示例： 本文主要创新点如下： 1）一种创新的原则，利用同方差不确定性的多任务学习方法 2）一个统一的用于学习 semantic segmentation, instance segmentation 和 depth regression 的框架 3）展示了通过学习方法获得权重的有效性 1 Multi Task...

在深度学习中，可微（Differentiable）是一个很重要的环节，可微意味着能够进行训练。在 SLAM 和很多 3D 系统中，后端往往伴随着大量的在线优化（Optimization）算法，这些算法对于整个 pipeline 很重要，如果要进行 End-to-end 学习的话，如果随意用回归之类的方法代替优化，往往不能取得满意的效果。一个比较简单直接的思想也就是把优化部分进行可微化，这样就可以比较容易地进行替换。 目前基于将优化算法可微化的论文和开源工作感觉还比较有限，这里就看到的一些进行整理，大家如果有相关工作欢迎留言补充。...

Michael Nielsen 大神的 《Neural Networks and Deep Learning》 网络教程一直是很多如我一样的小白入门深度学习的很好的一本初级教程。不过其原版为英文，对于初期来说我们应该以了解原理和基本用法为主，所以中文版其实更适合初学者。幸好国内有不少同好辛苦翻译了一个不错的中文版本，并且使用 LaTex 进行排版以方便阅读。 教材下载： 这本书的中文版本如下： nndl-ebook.pdf 其官网如下： https://github.com/zhanggyb/nndl 源码下载： 原作者同时提供了书中的示例代码，这是我们学习的好工具，可惜其使用 Python 2.x 开发： https://github.com/mnielsen/neural-networks-and-deep-learning 如果您更熟悉 Python 3.x 版本，可以使用我这里修改的版本： https://github.com/skylook/neural-networks-and-deep-learning...