发布于: Oct 12, 2022

2022 云上 AI 竞赛?人工智能、数据科学、机器学习大热,与之相关的 AI 赛事也如火如荼。要比赛,首先得有专业的人工智能竞赛平台才行!人工智能竞赛平台,不仅要构建强大的数据集,还要解决数据集保护、算力公平性、结果可复现性等诸多问题,挑战一环扣一环。DataCastle 作为其中的佼佼者,正以实力化解各类挑战。

实力派:

谁是 DataCastle

DataCastle 数据科学创新与实践平台,是成都数聚城堡科技有限公司旗下的核心产品,基于数据城堡多年竞赛业务体系的技术沉淀,整合数据科学中的算力(GPUCPU)、数据、模型生产、资源调度等核心场景为用户提供标准化及定制化的全流程解决方案。

目前,DataCastle 数据科学创新与实践平台在政企办赛领域享有极高知名度,是国内优质的数据科学竞赛平台和解决方案供应商。通过多年的运营,DataCastle 竞赛平台上发布的赛题超过 480 个,全域用户已经超过 30 万,并且参与者分布在全球各地,参赛人次超过 30 万,作品提交量超过 40 万。在更大规模,具备更好通用性以及更具成本效益的云上来构建 DataCastle 竞赛平台,是成都数聚城堡科技有限公司的未来方向。

技术流:

如何在一周内构建 AI 赛事平台?

在一周的时间内完成 DataCastle 竞赛平台的构建,并根据不同的主题提供差异化的资源支持,成都数聚城堡科技有限公司要经过几步?

 

第一步:基础算力支撑

竞赛平台的搭建是一个短期的项目,需要在有限的预算范围内为竞赛参与者提供机器学习能力和与竞赛主题相匹配的算力。Amazon EC2 G4dn 实例针对机器学习场景进行了优化,其提供的 GPU 算力尤其适合图像分类、对象检测和语音识别,以及图形密集型应用程序,帮助成都数聚城堡科技有限公司灵活地为应用程序选择正确的实例,以降低在竞赛中的机器学习推理成本。

 

 

 

第二步:人工智能与机器学习服务

在竞赛中不同的参赛选手会采用自己所熟悉的 AI 框架,这给平台适配性带来巨大挑战。将 DataCastle 竞赛平台与 Amazon SageMaker 云上机器学习服务结合,Amazon SageMaker 提供的 ProcessingJob 带来了全面托管和广泛适配的新方式,参赛选手可以用自带代码,镜像或模型的方式在云上作业,启动运行作业所需的资源,将输出保存到持久性存储中,并提供日志和指标。同时,选手们还可以使用自己选择的框架引入自己的容器,充分利用运行数据处理和分析工作负载的优势,让 DataCastle 竞赛平台更具通用性。

 

 

 

 

第三步:数据安全与知识产权保护

Amazon Secrets Manager 服务嵌入到DataCastle 竞赛平台中,参赛选手可以在整个赛事周期中以更加轻松的方式轮换、管理和检索数据库凭证、API 密钥和其他密钥,使用者和应用程序可以通过调用 Secrets Manager API 的方式实现密钥检索,从而无需对纯文本的敏感信息进行硬编码,更好地保护模型和知识产权。

 

 

 

第四步:训练过程能见度

通过 Amazon SageMaker Amazon CloudWatch 的良好继承性,DataCastle 可以为赛事参与者提供更多训练过程中的能见度。在平台上调用 Amazon SageMaker Amazon CloudWatch 的日志 APIDataCastle 可以在赛事平台应用中实现日志筛选,让参赛者即时监控处理作业的日志和指标,以更好地跟踪训练日志,实现训练调优。

亚马逊云科技的服务被数据科学领域广泛应用,基于 Amazon SageMaker 构建 DataCastle 竞赛平台,不仅可以提升我们作为赛事运营方的效率,还能够为参赛者提供更接近于实训环境的体验,让赛事成果真正被应用到实际业务当中,让政企行业从数据科学中获得价值。

 

——周涛

成都数聚城堡科技有限公司发起人

 

 

 

引领者:

如何推动遥感影像应用

为可持续发展赋能?

高分辨率、定量遥感时代,遥感数据获取与信息服务能力得到了前所未有的发展,伴随而来的是信息处理的多样性和复杂性。结合目标检测技术分析处理遥感影像关键信息,成为突破发展瓶颈的重要手段。

2022 年,DataCastle 与亚马逊云科技共同举办开发者 AI for Good 大赛,由 DataCastle 提供竞赛平台,亚马逊云科技提供免费在线训练资源,以及云上机器学习服务为全程赛事提供支撑。竞赛将聚焦遥感光学影像目标检测的竞赛主题,邀请人工智能和机器学习的从业人士以及数据科学的爱好者广泛参与,共同克服遥感光学影像目标检测中的挑战,打造高效、实用的目标检测算法,提高遥感光学影像的分析提取能力,推动遥感影像应用赋能可持续发展的战略目标,从而让遥感中的世界变得更加清晰。

本次竞赛的入围团队代表,将被邀请于 2022 亚马逊云科技中国峰会的 DevDay 中进行决赛的答辩与路演,并与 CV 领域的技术专家们进行面对面技术交流,一起激发科技力量。

未来,DataCastle 将继续发挥行业优势,与亚马逊云科技在业务和技术层面进行深度合作,计划共同参与 2024 年世界技能大赛。而且,DataCastle 还计划加入亚马逊云科技合作伙伴网络(APN),借助丰富的合作伙伴计划与资源实现业务拓展和创新,让更多的组织和个人通过数据科学的应用受益。

关于 DataCastle

DataCastle 是数据城堡旗下产品,平台基于公司多年竞赛业务体系的技术沉淀,为用户提供竞赛、实训、人工智能实验室、算力资源等服务。

DataCastle 3.0 打造全新数据科学创新与实践平台,结合云端的在线计算环境与安全的数据资源池,为初学者提供实训教学平台,为爱好者提供项目实战擂台,为数据科学家提供开拓创新舞台。

平台致力于以数据为基础,人才为导向,持续激发和挖掘每一位数据科学领域参与者的创新能力,励志推动中国数据科学发展。