Logistic和Softmax

直接上比较清晰的博文: 1. Logistic and Softmax: http://www.cnblogs.com/daniel-D/archive/2013/05/30/3109276.html 2. BP: http://www.cnblogs.com/daniel-D/archive/2013/06/03/3116278.html 3. Logistic regression:http://www.dreamingo.com:9999/blog/standford-note-logistic-regression 4. Softmax regression:http://www.cnblogs.com/bzjia-blog/p/3366780.html

什么叫大牛,看看发表论文排行榜-20140317

下面是截止到20140317时的统计结果: 【1-JMLR】: Klaus-Robert Müller(15) Francis R. Bach(14) Tong Zhang(14) Michael I. Jordan(13) Alexander J. Smola(13) Yoram Singer(12) Masashi Sugiyama(11) Chih-Jen Lin(11) Shai Shalev-Shwartz(11) Bernhard Schölkopf(9) Yoshua Bengio(9) Martin J. Wainwright(8) Robert C. Williamson(8) Peter L. Bartlett(8) Naftali Tishby(7) John Shawe-Taylor(7) … 继续阅读

20130913 深度学习@ICTCAS

余凯(Deep Learning): 介绍百度DL进展,今年报告李彦宏(Robin)相信技术的力量,提出技术难题:1:自然图片Ocr,2:语音识别和理解,3:图像搜索 业界趋势:移动互联网带入识图时代;siri,微软DL,google,科大迅飞,baidu语音识别 DL 被评为MIT2013十大技术之首 imageNet 2012 Hinton参赛74%->85%,13年3月份加入google   4700W$ 深度学习更接近人脑 人工智能新范式:大数据+深度学习 ICML Andrw Ng 100亿个参数 2012年夏天投入研发,用GPU提高运算效率,语音,OCR,人脸识别,全网相似图片搜索,全流量上线广告CTR预估 语音识别PKgoogle @中文,Google同时在做30多种语言 人脸识别成功产品 百度魔图 。 图片的相似搜索,何为相似?如何定义!「百度识图」,已上线的产品,基于DL 新产品 「拍照写诗」 思考:DL第一次不分类别的大数据图像识别尝试 大数据+计算能力+统计模型+应用创新 图像识别训练数据数千万 Q:硬件问题 A:GPU不完美,可考虑FPGA 张长水(深度学习模型、发展历史与一些思考): 三种模型: Restricted Boltzmann Machine,layerwise Pre-training Autoencoder Neural Network,sparse … 继续阅读

基于LDA的变种Topic Model

转自:http://hi.baidu.com/batmanfly/item/0ae75e4c75c95daede2a9f7a 基于LDA的Topic Model变形最近几年来,随着LDA的产生和发展,涌现出了一批搞Topic Model的牛人。我主要关注了下面这位大牛和他的学生: David M. BleiLDA的创始者,04年博士毕业。一篇关于Topic Model的博士论文充分体现其精深的数学概率功底;而其自己实现的LDA又可体现其不俗的编程能力。说人无用,有论文为证: J. Chang and D. Blei. Relational Topic Models for Document Networks. Artificial Intelligence and Statistics, 2009. [PDF] 基本LDA模型,当然假设文档之间是可交换的,那么在原始的LDA中文档之间其实是认为条件独立的。而在实际情况中,往往不是这个样子的,文档间也许会存 在“social network”的这样的网络性质。如何结合内容和“social network”这两个特征也许是一个非常有意思的话题。这篇论文就是给出了一个解决方法。它为两个文档之间增加了一个二元随机变量,根据其内容特征,来 刻画这种隐含的链接关系。 关于显示的链接关系是过去今年内,人们追逐研究的对象,进而产生PageRank、HITS等等一大批优秀的链接关系算法。那么如何利用隐含的链接呢?什 么是隐含的链接呢?一个最简单的隐含链接就是基于内容相似度构建的图。这个被人们用的不亦乐乎,比如在文摘中的LexRank等。O Kurland在SIGIR中发了两篇大概都是类似的文章,本质思想貌似就是在利用内容之间的“超链接”。 另外一个比较新颖的研究点,就是如何基于“social network”来挖掘内容特征? Mei Qiaozhu的一篇论文就是利用“social network”的网络结构特征最为规则化因子,重新修正了原始的PLSA模型。想法非常的新颖。 D. Blei and J. … 继续阅读

四篇应该仔细读的关于文本分析的tutorial类文章

这四篇文章经常被提及到,现原文出自:http://blog.sciencenet.cn/blog-611051-535693.html 对文本分析进行详细深入介绍的肯定不只这四篇,这是本人目前读过的,其他比较好的tutorial类文章欢迎大家推荐补充。 第一篇:详细介绍了离散数据的参数估计方法,而不是像大多数教材中使用的Gaussian分布作为例子进行介绍。个人觉得最值得一读的地方是它使用Gibbs采样对LDA进行推断,其中相关公式的推导非常详细,是许多人了解LDA及其他相关topic model的必读文献。 @TECHREPORT{Hei09, author = {Heinrich, Gregor}, title = {Parameter Estimation for Text Analysis}, institution = {vsonix GmbH and University of Leipzig}, year = {2009}, type = {Technical Report Version 2.9}, abstract = {Presents parameter estimation methods common … 继续阅读

Generative Model vs.Discriminative Model

再假如你的任务是识别一个语音属于哪种语言。例如对面一个人走过来,和你说了一句话,你需要识别出她说的到底是汉语、英语还是法语等。那么你可以有两种方法达到这个目的: 1、学习每一种语言,你花了大量精力把汉语、英语和法语等都学会了,我指的学会是你知道什么样的语音对应什么样的语言。然后再有人过来对你哄,你就可以知道他说的是什么语音,你就可以**他是“**国人还是***了”。(呵呵,切勿将**掺杂在技术里面) 2、不去学习每一种语言,你只学习这些语言模型之间的差别,然后再分类。意思是指我学会了汉语和英语等语言的发音是有差别的,我学会这种差别就好了。 那么第一种方法就是生成方法,第二种方法是判别方法。 生成算法尝试去找到底这个数据是怎么生成的(产生的),然后再对一个信号进行分类。基于你的生成假设,那么那个类别最有可能产生这个信号,这个信号就属于那个类别。判别模型不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类。 [摘自] http://blog.csdn.net/zouxy09/article/details/8195017

[ZZ]经典的机器学习方面源代码库

今天给大家介绍一下经典的开源机器学习软件: (非常全,数据挖掘,计算机视觉,模式识别,信息检索相关领域都适用的了) 编程语言:搞实验个人认为当然matlab最灵活了(但是正版很贵),但是更为前途的是python(numpy+scipy+matplotlib)和C/C++,这样组合既可搞研究,也可搞商业开发,易用性不比matlab差,功能组合更为强大,个人认为,当然R和java也不错. 1.机器学习开源软件网(收录了各种机器学习的各种编程语言学术与商业的开源软件) http://mloss.org 2 偶尔找到的机器学习资源网:(也非常全,1和2基本收录了所有ML的经典开源软件了) http://www.dmoz.org/Computers/Artificial_Intelligence/Machine_Learning/Software/ 3 libsvm (支持向量机界最牛的,不用多说了,台湾大学的林教授的杰作) http://www.csie.ntu.edu.tw/~cjlin/libsvm/ 4 WEKA (基于java的机器学习算法最全面最易用的开源软件) http://www.cs.waikato.ac.nz/ml/weka/ 5 scikit (本人最喜欢的一个基于python的机器学习软件,代码写得非常好,而且官方的文档非常全,所有都有例子,算法也齐全,开发也活跃 ,强烈推荐给大家用) http://scikit-learn.org/stable/ 6 OpenCv(最牛的开源计算机视觉库了,前途无可限量,做图像处理与模式识别的一定要用,总不能整天抱着matlab做实验和工业界脱节吧,但是有一定难度) http://opencv.willowgarage.com/wiki/ 7 Orange (基于c++和python接口的机器学习软件,界面漂亮,调用方便,可以同时学习C++和python,还有可视化的功能,) http://orange.biolab.si/ 8 Mallet (基于JAVA实现的机器学习库,主要用于自然语言处理方面,特色是马尔可夫模型和随机域做得好,可和WEKA互补) http://mallet.cs.umass.edu/ 9 NLTK(PYTHON的自然处理开源库,非常易用,也强大,还有几本orelly的经典教程) http://nltk.org/ 10 lucene(基于java的包括nutch,solr,hadoop,mahout等全套,是做信息检索和搜索引擎的同志们必学的开源软件了,学JAVA的必学) http://lucene.apache.org/ 转载地址:http://www.cnblogs.com/kshenf/archive/2012/06/14/2548708.html