20130913 深度学习@ICTCAS

余凯(Deep Learning):
介绍百度DL进展,今年报告李彦宏(Robin)相信技术的力量,提出技术难题:1:自然图片Ocr,2:语音识别和理解,3:图像搜索
业界趋势:移动互联网带入识图时代;siri,微软DL,google,科大迅飞,baidu语音识别
DL 被评为MIT2013十大技术之首
imageNet 2012 Hinton参赛74%->85%,13年3月份加入google   4700W$
深度学习更接近人脑
人工智能新范式:大数据+深度学习 ICML Andrw Ng 100亿个参数
2012年夏天投入研发,用GPU提高运算效率,语音,OCR,人脸识别,全网相似图片搜索,全流量上线广告CTR预估
语音识别PKgoogle @中文,Google同时在做30多种语言
人脸识别成功产品 百度魔图 。
图片的相似搜索,何为相似?如何定义!「百度识图」,已上线的产品,基于DL
新产品 「拍照写诗」
思考:DL第一次不分类别的大数据图像识别尝试
大数据+计算能力+统计模型+应用创新
图像识别训练数据数千万
Q:硬件问题
A:GPU不完美,可考虑FPGA
张长水(深度学习模型、发展历史与一些思考):
三种模型:
Restricted Boltzmann Machine,layerwise Pre-training
Autoencoder Neural Network,sparse encoder
CNN,卷积神经网络,Layer-by-layer unsupervised training + fine tuning OR Layer-by-layer supervised training
NN发展史:
第一阶段:1959年起始,基本问题:建立模型,学习模型。典型代表:Rosenblatt 感知机。单层感知机缺点:不能学习非线性问题
第二阶段:1986年,Rumelhart等提出PDP报告。反向传播算法。感知机的研究被扩展到人工神经元网络。问题:优化问题与全局最优,初值等选择,可理解性(中间的隐含节点是什么),过拟合学习
第三阶段:2006年   Hinton
统计机器学习的大问题,困境与局限性:高维空间与样本数的不足;寻找最优解的困难;可理解性差;大样本量的计算;复杂的算法和可应用性
深度学习改善了上面的困境,但是仍有批评和问题:缺乏理论,太多的经验,网络的学习太慢。
优点:效果好而且可重复。原因:学习特征,Learning Representation;结合了大量与问题相关的知识;大数据量;
另一个角度看:简化的概率图模型;结构的重要性;局部优化;降维和升维;统计学习理论的地位
大数据:客观存在,自然和社会的属性;大数据对于机器学习和人工智能是必要的;数据分析是大数据的核心;大数据的表现,变量多,噪音杂;同分布假设;数据的稠密和多样性。
问题:人工智能通用技术存在吗?知识可以积累吗?
张潼(大数据机器学习):
需求:抽取信息,创造用户体验,创造商业价值
资源:数据,手段:计算能力,算法,展现能力
核心技术:大数据管理,大数据分析,应用
方法:大数据,计算能力,复杂模型,高效算法=智能
观察量->决策的数据模型
百度产品:搜索广告
点击率CRT预估,数据存储,上万台机器
语音识别,百亿级训练规模,百万类别,百万特征
数据管理,hadoop HDFS,MapReduce
CPU适合稀疏离散特征,树模型
GPU适合稠密连续值,深层神经网络计算
数学问题:大型机器学习训练优化问题,分配方法:特征和数据分配到多机
NN浅层学习:人工特征提取,学习线性组合。深度学习:从原始特征出发,自动学习高效特征组合
训练数据,图像百万级,语音百亿级,广告百亿级
大数据研究,
问题,用什么数据解决什么问题;
数据,数据融合结构,噪音过滤和纠偏,数据抽样方法,数据降维;
模型,图模型,树模型,深度神经网络,和问题相关的模型结构和高级特征的学习;
分布式计算,同步和异步,鲁棒性,大规模,理论分析;
深度学习,目前向人工智能走得最近的方法。
Q:DL在NLP上的方向
A:NLP中的词已经high level了,数据量不大

发表评论

电子邮件地址不会被公开。 必填项已用 * 标注

*

您可以使用这些 HTML 标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>