女硕士改进主题建模算法提升百度数据训练能力

(从左至右：百度商务搜索部贾宁 苏州大学叶芸 百度商务搜索部张翼)

“在线学习的主题建模算法”攻破互联网海量数据挑战

速途网讯 海量数据的分析能力被IT界视为最具商业价值的技术突破口之一，而这也是影响互联网用户体验的重要关键点。搜索引擎是互联网分发流量最大的入口，每天数十亿次的搜索请求包含了众多信息，目前百度收纳的网页已经超过2000亿，如何从大规模数据集中快速获得有效信息可谓是技术界机器学习领域的最大热点。“Topic Model(主题模型)技术是分析和理解海量文本信息的有效手段，在百度网页搜索质量和商业流量变现中都发挥着非常重要的作用”，百度商务搜索部高级工程师贾宁说到。贾宁所在的商务搜索部是百度负责搜索流量变现的核心部门，“每天都有新想法在尝试，技术创新是推动凤巢(百度搜索广告系统的代号)不断提升的重要动力”。

来自苏州大学的叶芸今年七月实现了主题建模领域一项重大的技术突破，经她改进的在线学习主题建模算法(online-topic-model)可以快速处理大规模的数据集，高效实时的处理大规模数据流，及时捕获亿万网民搜索需求的变化趋势，获得更准确有效的主题。叶芸在介绍她的技术成果时说：“这种方法就好比一个生产流水线，我们传统的数据处理方式相当于把一个产品的各个零部件凑齐后再组装，也就是收集大量数据后统一进行分析，而在线学习就等于流水线上来一个零件我们就组装一个，整个过程非常高效，不必等待全部的零件聚齐才能组装。”

而从效能的角度上来看，叶芸解释道，在线学习比起离线学习算法来说有三大优势。“首先，离线算法将整个数据集作为处理对象，因此对内存容量要求很高，但在线学习就可以分段处理，节约内存。其次，这种在线学习算法可以容纳更海量的数据处理要求，在数据量达到一定规模时就呈现出极好的优势，能缩短耗时，并完成传统算法不能解决的任务。第三，离线算法对数据流形式的数据集束手无策，可在线学习算法却能在不耗费更多成本的情况下轻松完成。”

百度校园主题研究项目：做“以问题为导向”的研究

谈起这项成果的产出，叶芸认为，正是苏州大学与百度校园在主题研究项目上的合作为自己创造了与百度结缘的机遇，叶芸在百度实习期间同时得到了基础架构部和百度资深工程师贾宁和张翼的全力支持，她认为百度技术导师对她的启发是最大的，帮她克服了项目实现过程中不少技术困难。“在新开发的技术和原有底层技术上做研发，既要具备很强的学习理解能力，也要拿出具有兼容性的创新方案。在百度海量的数据集和高性能的硬件支持下进行科研工作，跳脱出理论阶段，验证自己的观点，做有用的研究是件极有成就感的事。”

百度商务搜索部的贾宁和张翼作为叶芸的技术导师也为这项突破性的技术成果而感到振奋。张翼说：“在百度，即使是实时数据流，也是非常巨大的，动辄以千万甚至亿计。叶芸把在线学习和大规模并行学习做了一个出色的融合，能够处理“大规模数据流”，因此才能深入挖掘和建模百度的海量数据，准确捕捉网民的需求变化，并优化广告检索，提升网民体验。”百度商务搜索部的贾宁也认为叶芸实现了百度数据训练的处理能力的重大创新和突破。“在数据训练这个模块，我们原本只能处理四五千万的数据，现在可以逐步分析多达几亿甚至几十亿的数据量，数据处理能力大大提升，对数据流的变化也有了更好的掌握。”

百度校园品牌总监张高博士表示：“我们把百度工程师在实际工作中遇到的技术问题与高校分享，通过开放研究计划的形式和各大高校合作，力求找到切实可行的解决方法。我们设计的基于百度数据的主题研究项目，每个学校都有机会参与进来，获取百度提供的相关数据，共同开展研究。我们希望创造出更多符合互联网实际应用需求的新技术，为数亿网民的搜索体验带来提升，也为互联网技术的创新注入更多的新能量。”

新技术有望申请专利

苏州大学的特聘教授曾嘉是叶芸的导师，他认为这项研发成果是校企联合过程中一个非常可喜的成果。“我们在学校计划开发在线消息传递算法(online belief propagation)是对主题模型LDA (latent Dirichlet allocation)的优化，叶芸同学在百度实习的过程中，在兼顾企业原有底层技术的同时，经过优化研发出了真正适用于实际情况的在线学习算法，甚至结合了百度技术部门最新开发的技术，使得在线学习的主题建模算法更为贴合企业实际应用的创新。学术力量产出真正具有商业价值的成果，确实是一个令人兴奋的消息。”

8月底，此项技术将在百度正式投入应用，并计划开展技术专利的申请工作。

深圳工商税务机构

广州工作签证条件

深圳代理记账兼职

内资企业设立流程图

深圳代理记账电话

税收筹划哪家好