使用亚马逊云科技 Amazon SageMaker 构建机器学习应用-亚马逊云计算技术应用

随着社会的发展和科技进步，人工智能变得无处不在，然而，人工智能广泛应用仍然面临着巨大的挑战：一是掌握人工智能专业知识的人才不足；二是构建和扩展人工智能的技术产品有难度；三是在生产经营中部署人工智能应用费时且成本高。最终导致缺乏低成本、易使用、可扩展的人工智能产品和服务。

开发者和数据科学家首先必须对数据进行可视化、转换和预处理，这些数据才能变成算法可以使用的格式，用以训练模型。即使是简单的模型，企业也需要花费庞大的算力和大量的训练时间，并可能需要招聘专门的团队来管理包含多台 GPU 服务器的训练环境。从选择和优化算法，到调节影响模型准确性的数百万个参数，训练模型的所有阶段都需要大量的人力和猜测。然后，在应用程序中部署训练好的模型时，算法工程师又需要另一套应用设计和分布式系统方面的专业技能。并且，随着数据集和变量数的增加，模型会过时，算法工程师又必须一次又一次地重新训练模型，让模型从新的信息中学习和进化。所有这些工作都需要大量的专业知识，并耗费庞大的算力、数据存储和时间成本。而且，由于没有集成化的工具用于整个机器学习的工作流，机器学习模型的传统开发方式是复杂、繁复和昂贵的。

自从2018年起，亚马逊云科技发布了一系列的产品和服务，例如 Amazon SageMaker、Amazon Aurora ML、Amazon Redshift ML 和2021年 reInvent 发布的 Amazon SageMaker Canvas，使得不同角色的工程师越来越容易构建机器学习应用，降低应用机器学习的门槛，以实现普惠机器学习。本系列文章将以上述产品为核心，从不同的角度帮助企业中不同部门的人员构建机器学习应用。

本普惠机器学习系列文章包含以下5篇:

篇一：使用 Amazon SageMaker 构建机器学习应用（本篇）

在本篇文章中，我们将介绍如何在 Amazon SageMaker 上开展机器学习模型训练，我们将在 Notebook 上面分别演示针对同一个数据集，分别使用 XGBoost、SageMaker 内置算法和 AutoGluon 进行模型训练。

篇二：使用数据可视化工具加载 Amazon Redshift 数仓数据完成机器学习数据准备和模型快速验证

在本篇文章中，我们将会为您展示一个简单的2分类预测的机器学习场景，通过加载存放于数据仓库 Amazon Redshift 中的银行客户画像和业务行为特征，来完成建模前特征的快速准备和预测是否办理存款业务模型的快速验证。

篇三：使用 Amazon Redshift ML 构建机器学习应用

在本篇文章中，我们将介绍使用标准 SQL 在 Amazon Redshift 集群上快速应用机器学习。从数据导入，到模型训练，到模型编译和部署，最后通过 Redshift Function 调用模型进行预测。

篇四：如何在数据库里面使用 SQL 语句直接调用 Amazon 机器学习服务进行推理

在本篇文章中，我们将介绍如何在 Amazon Aurora 数据库里面使用 SQL 语句直接调用 Amazon Comprehend 和 Amazon SageMaker 机器学习服务进行推理，让业务后端开发人员即使没有机器学习知识，也可以快速使用最熟悉的 SQL 语句调用机器学习服务，为业务提升价值。

篇五：基于 Amazon SageMaker Canvas 无代码构建分类模型

在本篇文章中，我们将介绍如何无需写代码即可构建机器学习应用，Amazon SageMaker Canvas 提供无代码、可视化的工作环境，即使没有机器学习背景知识，也可以基于自己业务需要构建机器学习模型。

本文作为该系列文章的第一篇，我们将介绍数据科学家和算法工程师训练机器学习模型时常采用的方式，即在单台主机上安装 Jupyter Notebook，并安装相关的依赖包，然后在其上进行代码编写与测试。

Amazon SageMaker 是一个端到端的机器学习平台，SageMaker支持您的模型开发全流程，从数据准备，数据处理，算法构建，模型训练，超参调优，模型部署与监控等环节，SageMaker都提供了相应的功能帮助算法工程师们专注于业务和模型本身，提高开发效率。

接下来我们将介绍在 Amazon SageMaker Notebook 实例上面训练机器学习模型的过程，我们将展示三种方式：基于开源算法 XGBoost，基于 AutoGluon 和基于 SageMaker 内置算法 XGBoost。

具体方式可见：

https://mp.weixin.qq.com/s/VV6KuKstn1G3B2WF2NlKEg

本文作为普惠机器学习系列文章的第一篇，介绍了如何创建 SageMaker Notebook 实例，并基于 UCI 机器学习数据集中的 Bank Makerting Data Set 介绍了如何使用开 XGBoost、SageMaker 内置算法以及 AutoGluon 开展机器学习任务，针对数据库工程师，大数据工程师亚马逊云科技同样提供了相应的产品和功能帮助数据工程师快速、高效的应用机器学习，也推荐您继续阅读本系列的其他文章。