360发布人工智能开源平台XLearning

  360发布了人工智能开源平台XLearning

  技术新闻12月13日消息,近年来人工智能技术迅速发展,Google开源TensorFlow代表了各种深度学习框架层出不穷。为了使国内的人工智能技术更好地着陆,而人工智能也是大数据分析的主要方法,正如大数据协同安全工程实验室主导的公司360,系统大数据小组和人工智能研究所基于长期的研究和实践成果,开发了基于Hadoop大数据能力的人工智能平台XLearning,大数据协同安全技术国家工程实验室是国家级大数据安全研究创新平台,国家发展和改革委员会,是全国唯一一家民营企业在大数据领域承担的国家工程实验室,目前主要负责大数据基础设施,安全和应用领域的研究工作, Ce说,360XLearning的总监说,XLearning对于开发者来说是很棒的,因为t对于同行业的公司也有类似的发展需求,XLearning可以帮助他们统一调度和重用服务器资源。随着平台算法库不断增加容量和优化,开发人员的工作难度将大大降低。他们将有更多的精力来实现功能和代码优化。另外,除了人工智能平台XLearning之外,360还在海神系统,pika系统等大数据开源技术领域进行创新,这些都是大数据领域原有的360开源技术。图1:大数据协同安全技术国家工程实验室(图2:360深度学习调度平台)XLearningXLearning平台将大数据与深度学习相结合,基于Hadoop Yarn将TensorFlow,MXNet, Caffe,Theano,PyTorch,Keras和XGBoost是一个典型的“on Hadoop”实现。 XLearning今年4月份正式启动,运行多次迭代更新,为用户学习框架提供了统一稳定的调度平台,实现资源共享,大大提高了资源的利用率,并具有良好的可扩展性和兼容性。图3:XLearning架构其中,Client是XLearning客户端,负责启动工作并获取工作执行状态; ApplicationMaster主要负责输入数据碎片,启动和管理Container,执行日志保存等。Container是作业的实际执行者,Worker或PS(Parameter Server)进程,监视并报告AM进程的状态,上传输出的工作。对于TensorFlow类型的作业,它也负责启动Tensoard服务。 XLearning虽然结构简单,但具有丰富的功能,可以帮助用户培训他们的模型,并依靠纱线统一管理工作资源。首先,Xlearning平台支持TensorFlow,MXNet分布式和独立模式,支持所有独立模式的深度学习框架,如Caffe,Theano,PyTorch;其次,XLearning提供了多种数据输入输出模式,包括数据流读写,直接HDFS读写等,根据数据处理量和簇机硬盘容量,根据情况决定读和写;而且,为方便用户查看工作信息,XLearning提供了可视化界面,用于显示作业执行进度和输出日志内容;另外,XLearning还支持TensorFlow分布式的ClusterSpec自动分配构建,独立模式等深度学习框架代码,无需任何修改即可迁移到XLearning,以便用户快速使用;最后,利用深度学习框架的检查点机制和直接读写HDFS数据的能力,XLearning人性化的培训能够恢复执行。作为人工智能领域的先驱,360公司以平台开源的形式实现行业现有资源的整合与优化。相信未来,由360公司牵头的国家大数据安全协作技术工程实验室将为中国网络安全和大数据人工智能产业和学术界的整体水平贡献更大的动力。