分类目录归档：他山之玉

新进实验室，急需恶补数学基础知识，goolge到此文，据说为某MIT大牛所感，转载于此，以便以后查阅。 感觉数学似乎总是不够的。这些日子为了解决research中的一些问题，又在图书馆捧起了数学的教科书。从大学到现在，课堂上学的和自学的数学其实不算少了，可是在研究的过程中总是发现需要补充新的数学知识。Learning和Vision都 是很多种数学的交汇场。看着不同的理论体系的交汇，对于一个researcher来说，往往是非常exciting的enjoyable的事情。不过，这 也代表着要充分了解这个领域并且取得有意义的进展是很艰苦的。 记得在两年前的一次blog里面，提到过和learning有关的数学。今天看来，我对于数学在这个领域的作用有了新的思考。 对于Learning的研究， 1、 Linear Algebra (线性代数) 和 Statistics (统计学) 是最重要和不可缺少的。这 代表了Machine Learning中最主流的两大类方法的基础。一种是以研究函数和变换为重点的代数方法，比如Dimension reduction，feature extraction，Kernel等，一种是以研究统计模型和样本分布为重点的统计方法，比如Graphical model, Information theoretical models等。它们侧重虽有不同，但是常常是共同使用的，对于代数方法，往往需要统计上的解释，对于统计模型，其具体计算则需要代数的帮助。 以代数和统计为出发点，继续往深处走，我们会发现需要更多的数学。 2、Calculus (微积分)，只是数学分析体系的基础。其 基础性作用不言而喻。Learning研究的大部分问题是在连续的度量空间进行的，无论代数还是统计，在研究优化问题的时候，对一个映射的微分或者梯度的 分析总是不可避免。而在统计学中，Marginalization和积分更是密不可分——不过，以解析形式把积分导出来的情况则不多见。 3、Partial Differential Equation （偏微分方程)，这主要用于描述动态过程，或者仿动态过程。这个学科在Vision中用得比Learning多，主要用于描述连续场的运动或者扩散过程。比如Level set, Optical flow都是这方面的典型例子。 4、Functional Analysis (泛函分析)， 通 俗地，可以理解为微积分从有限维空间到无限维空间的拓展——当然了，它实际上远不止于此。在这个地方，函数以及其所作用的对象之间存在的对偶关系扮演了非 常重要的角色。Learning发展至今，也在向无限维延伸——从研究有限维向量的问题到以无限维的函数为研究对象。Kernel … 继续阅读 →

刚看了一篇关于反思计算机学习的文章，大有相见恨晚之感。个人认为此文见解非常之深刻，站在一个统领全局的高度上对计科学习方法做了一个引导，没有雄厚的数学功底和计科领域十余年浸淫可能难有此见地。几乎不感相信当年此文出至于一大三学生之手，不由地自叹弗如。后来在网上考证了一番，才发现原来其中大部分内容引至南京大学小百合BBS里Sir博士（现为耶鲁大学副教授）的若干帖子。不过无论如何，也是一篇值得转载，弘扬的好文。 题目：计算机科学与技术学习反思录 作者：曾毅 时间：2003年7月 源网址：http://www.frontfree.net/view/article_746.html 原文如下： 计算机科学与技术这一门科学深深的吸引着我们这些同学们，上计算机系已经有近三年了，自己也做了一些思考,原先不管是国内还是国外都喜欢把这个系分为计算机软件理论、计算机系统、计算机技术与应用。后来又合到一起，变成了现在的计算机科学与技术。我一直认为计算机科学与技术这门专业，在本科阶段是不可能切分成计算机科学和计算机技术的，因为计算机科学需要相当多的实践，而实践需要技术；每一个人(包括非计算机专业)，掌握简单的计算机技术都很容易（包括原先Major们自以为得意的程序设计），但计算机专业的优势是：我们掌握许多其他专业并不”深究”的东西，例如，算法，体系结构，等等。非计算机专业的人可以很容易地做一个芯片，写一段程序，但他们做不出计算机专业能够做出来的大型系统。今天我想专门谈一谈计算机科学，并将重点放在计算理论上。 1、计算机理论的一个核心问题–从数学谈起： 标签：他山之玉, 思考