DevOps for AI解决方案亮相百度AI开发者大会?
2019年7月3日,蓝牙Create,2019百度蓝牙AI开发者大会在北优艾设计网_Photoshop论坛京召开。百度创始人、会长兼首席执行官李彦宏与百度各业务板块的领导人物一起,为来自世界各地的开发人员和业界合作伙伴展示百度AI最先进的人工智能技术、产品,与现场数千名开发人员、企业代表共同探讨AI技术落地的各业界和世界产业智能趋势。
在今年大会的公开课上,百度高效云团队与百度视觉技术部合作,为Devopsfor贡献了DevopsforAI:Deploy发布了Devops上的公开课。公开课以开发着名品牌面包店识别商品、自动生成订单服务为场景,结合现场实践向学生和来宾展示了百度高效云和AIFlow开发AI服务的全过程。公开课吸引了对AI开发和DevOps感兴趣的工程师和技术人员的参与。
公开课上提到的AI服务到底是什么?开发一个AI服务和开发其它服务有哪些异同呢?
一、AI服务和开发挑战
01.AI服务是什么,他的开发过程是什么?
以AI视觉能力为例,完整的AI服务包括基于AI模型的AI基础能力和对外服务的工程代码,最终用户通过不同的客户访问服务。
AI服务实例
完整的AI服务开发包括工程代码开发、模型培训和最终整合阶段。
在工程代码开发阶段,工程师像开发普通服务一样通过coding、build、test等活动,最终生产发表物
在模型训练部分,工程师通过数据收集和标记、数据处理、模型训练和优化等活动最终生产AI模型
接下来,工程师将工程部分发表物和AI模型包装在一起形成最终生产物,最终生产物在线发表
与传统软件开发相比,AI产品的开发面临着很多挑战:
1、项目合作困难:项目涉及开发、测试、运输等多角色有关,AI项目与多个AI算法团队有关,沟通、协调成本高,工作效率低
2、技术要求高:AI开发过程更长,专业要求更高
3、环境周边成本高:AI数据、模型、服务、工具维护成本高,安全风险大
4、技术重复使用困难:AI开发过程更长高的专业要求、更高的环境周边成本高:AI数据该方案涵盖了模型训练的部分和服务代码开发的DevOps部分,实现了所有产品化,被百度内部多个AI开发团队使用。整套方案贯彻了DevOps理念中自动化的一切部分,包括:
1、服务代码-模型组装-服务部署自动化
2、培训工具源代码-培训工具集成自动化
3、培训数据管理-模型培训-模型评估自动化
AI服务全周期解决方案
整个方案包括两个重要工具和支持机械学习培训的GPU服务器。他们分别是:
AI服务全周期解决方案
整个方案包括两个重要工具和支持机械学习培训的GPU服务器。他们分别是:
ai服务全周期解决方案。高效云在百度内部服务10000工程师的日常产品管理、开发、测试、发表等研发工作,每天支持百度内部30000次云编译、70000次构建、700次服务发表。
高效云已经加入百度智能云产品的序列,2019年5月正式提供服务。百度高效云目前同时服务外部2000企业和个人客户项目管理、研发、测试等研发工作。
高效云的核心理念是用先进的软件工程技术使复杂的开发更加简单!
高效云产品结构
高效云包括三个平台类工具和四个主要功能模块,分别是产品和项目管理工具iCafe、代码管理和合作开发平台iCode、持续交付平台iPipe
四个主要功能模块包括静态代码扫描工具iScan、容器化构建工具iBuild、产物管理工具iRepo和aixcoder提供的智能开发助手ixcoder。
效率云的主要功能模块
与其他研发平台相比,效率云具有以下独特的差异化功能:
基于用户故事地图的产品计划
代码入库前的云生产线:
工程师在提交代码后、代码入库前经过一系列自动代码检查和CoderReview环节,只有通过所有质量保证手段,代码才能进入现在的代码库。
即插即用的智能开发助手
基于特征识别的静态代码分析手段
02.重要工具:AIFlow
AIFlow是百度成熟的一站式AI能力研发平台,在百度内部已率先落地应用于视觉领域,并正在与自然语言处理、大数据部、知识图谱、飞桨等团队一起协作,共同推进AI基础平台建设。 该平台在百度内部已经过150 重点项目的验证,收录数据12.6亿、模型1745个、工具567个、覆盖流量3600w/天。
在AI行业开发的多年探索中,AIFlow团队充分调查了AI应用者、AI开发者(战略、结构)等不同群体的诉求,发掘了资源管理混乱、需求响应缓慢、过程复杂、各环节复用性低的痛点,因此在设计上重视以下特点:
1、数据、模型、工具统一管理,共享复用
2、AI能力自动化过程的构建,支持数据闭环反复3、沉淀AI解决方案,支持快速应用程序、模型、复应用程序、复应用程序、复应用程序、复应用程序、复应用程序、复应用程序、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件复印件复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件复印件、复印件、复印件、复印件、复印件、复印件复印件复印件、复印件复印件、复印件、复印件复印件、复印件、复印件、复印件、复印件、复印件、复印件、复印件复印件复印件复印件复印件复印件复印件、复印件复印件复印件复印件、复印件、复印件、复印件、复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件、复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件、复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件复印件基于JDM模式,百度与浪潮共同开发了X-MAN系列的超AI计算平台,为AI和深度学习应用提供了强有力的计算力支持。同时,结合百度平台层和应用层的先进方案,百度和浪潮也建立了更完美的AI生态,将硬件和软件的一体化方案推向更大的产业市场,效率云和AIFlow是很好的实践。高效云免费试用
重磅好消息!百度高效云和AIFlow现在向各企业、个人用户免费试用,扫描下面的二维码,进入微信群,了解百度DevOps的系列课程,免费体验高效云服务!
精彩评论