使用 Terraform 在 AWS SageMaker 中部署自有机器学习模型完整实战指南【免费下载链接】terraform-provider-awsThe AWS Provider enables Terraform to manage AWS resources.项目地址: https://gitcode.com/GitHub_Trending/te/terraform-provider-aws本篇指南基于 terraform-provider-aws 仓库中的 SageMaker 示例 及其配套的 main.tf完整演示如何将自带算法Bring Your Own Model包装进 Docker 容器、推送至 Amazon ECR再通过 Terraform 依次创建 SageMaker 模型Model、端点配置Endpoint Configuration与实时推理端点Endpoint并最终发起一次真实的预测调用验证部署结果。读完本文你将掌握用 Terraform 代码化托管机器学习推理服务的完整链路并理解aws_sagemaker_model、aws_sagemaker_endpoint_configuration、aws_sagemaker_endpoint三个核心资源之间的依赖关系与底层实现。示例整体架构从模型文件到实时推理端点该示例的部署链路分为两大阶段镜像准备阶段与Terraform 部署阶段。在镜像准备阶段你需要将机器学习算法打包成符合 SageMaker 推理容器规范的 Docker 镜像并推送到你自己账号下的 ECR 仓库在 Terraform 部署阶段配置会完成以下工作把模型文件model.tar.gz上传到 S3 桶创建 IAM 执行角色与策略授权 SageMaker 拉取 ECR 镜像、读取 S3 模型数据、写入 CloudWatch 日志创建 SageMaker 模型引用 ECR 镜像 URI 与 S3 模型数据地址创建端点配置指定实例类型、初始实例数量、模型引用创建实时端点挂载端点配置SageMaker 会自动拉起实例并加载模型提供服务。从源码结构看这一模型 → 端点配置 → 端点的三角关系正是 SageMaker 推理服务的标准组装方式model.go 实现aws_sagemaker_modelendpoint_configuration.go 实现aws_sagemaker_endpoint_configurationendpoint.go 实现aws_sagemaker_endpoint三者恰好一一对应 API 层的CreateModel、CreateEndpointConfig与CreateEndpoint。环境准备获取示例模型与凭据示例模型来自 AWS 官方的 SageMaker 示例仓库scikit_bring_your_own目录一个基于 scikit-learn 的自带算法示例。首先克隆该仓库并进入容器目录git clone https://github.com/awslabs/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/advanced_functionality/scikit_bring_your_own/container/说明amazon-sagemaker-examples是 AWS 官方的公开示例仓库如果你无法访问 GitHub也可以使用任意符合 SageMaker 容器规范 的自建镜像替代核心要求是镜像内实现serve与train等入口脚本。接下来为当前终端导出 AWS 凭据供后续build_and_push.sh脚本调用 AWS CLI 使用export AWS_ACCESS_KEY_IDyour-access-key-id export AWS_SECRET_ACCESS_KEYyour-secret-access-key如果使用了临时凭据还需导出AWS_SESSION_TOKEN。建议同时确认aws configure list能正确解析区域信息因为推送镜像时脚本需要据此构造 ECR 仓库地址。第一步构建 Docker 镜像并推送至 ECR在示例容器目录下执行仓库自带的构建与推送脚本参数foo将作为镜像在 ECR 中的仓库名./build_and_push.sh foo该脚本通常会完成以下动作具体实现见 amazon-sagemaker-examples 仓库本地构建 Docker 镜像 → 在 ECR 创建名为foo的仓库若不存在→ 使用docker login向 ECR 认证 → 将镜像打上account-id.dkr.ecr.region.amazonaws.com/foo:latest标签并推送。推送完成后镜像地址形如account-id.dkr.ecr.region.amazonaws.com/foo:latest这个地址正是后续aws_sagemaker_model中primary_container.image所引用的值。示例的 main.tf 采用动态拼接方式构造该地址见下文因此无需硬编码账号与区域。第二步逐段解析 Terraform 配置示例的完整配置位于 examples/sagemaker/main.tf下面按资源类型逐段拆解。Provider 与随机后缀依赖terraform { required_version 0.12 required_providers { random { version ~ 3.6 } } } provider aws { region us-west-2 }要求 Terraform 版本不低于 0.12声明了randomprovider版本 ~ 3.6用于生成全局唯一的 S3 桶后缀Provider 固定使用us-west-2区域实际使用时可按需修改但需保证 ECR 镜像推送区域与 Terraform 部署区域一致。获取当前账号与区域信息data aws_caller_identity current {} data aws_region current {}这两个数据源分别返回当前 AWS 账号 ID 与当前区域名用于动态拼接 ECR 镜像地址https://s3-us-west-2.amazonaws.com/...等资源定位符避免硬编码。IAM 角色、策略与授权挂载resource aws_iam_role foo { name terraform-sagemaker-example path / assume_role_policy data.aws_iam_policy_document.assume_role.json } data aws_iam_policy_document assume_role { statement { actions [sts:AssumeRole] principals { type Service identifiers [sagemaker.amazonaws.com] } } } resource aws_iam_policy foo { name terraform-sagemaker-example description Allow SageMaker to create model policy data.aws_iam_policy_document.foo.json } data aws_iam_policy_document foo { statement { effect Allow actions [ sagemaker:* ] resources [ * ] } statement { effect Allow actions [ cloudwatch:PutMetricData, logs:CreateLogStream, logs:PutLogEvents, logs:CreateLogGroup, logs:DescribeLogStreams, ecr:GetAuthorizationToken, ecr:BatchCheckLayerAvailability, ecr:GetDownloadUrlForLayer, ecr:BatchGetImage ] resources [ *] } statement { effect Allow actions [ s3:GetObject ] resources [ arn:aws:s3:::${aws_s3_bucket.foo.bucket}, arn:aws:s3:::${aws_s3_bucket.foo.bucket}/* ] } } resource aws_iam_role_policy_attachment foo { role aws_iam_role.foo.name policy_arn aws_iam_policy.foo.arn }策略授权分为三组sagemaker:*允许 SageMaker 服务创建模型、端点配置与端点日志与 ECR 相关权限允许写入 CloudWatch 日志组/日志流、上报指标并从 ECR 拉取镜像GetAuthorizationToken、BatchGetImage等s3:GetObject仅限读取示例创建的 S3 桶用于在实例启动时下载模型文件。信任策略assume_role_policy允许服务主体sagemaker.amazonaws.com代入该角色——这一步是端点实例能代表你访问 ECR 与 S3 的前提。从 endpoint.go 源码可以看到如果角色不存在或其信任关系不允许sagemaker.amazonaws.com执行sts:AssumeRoleCreateEndpoint会等待失败并触发回滚重试逻辑这从实现侧印证了 IAM 配置的关键性。S3 桶与模型文件上传resource random_integer bucket_suffix { min 1 max 99999 } resource aws_s3_bucket foo { bucket terraform-sagemaker-example-${random_integer.bucket_suffix.result} force_destroy true } resource aws_s3_bucket_acl foo_bucket_acl { bucket aws_s3_bucket.foo.id acl private } resource aws_s3_object object { bucket aws_s3_bucket.foo.bucket key model.tar.gz source model.tar.gz }桶名通过random_integer追加随机后缀规避 S3 桶名全局唯一的要求force_destroy true允许销毁时连同桶内对象一并删除方便示例反复创建销毁本地model.tar.gz位于 examples/sagemaker/model.tar.gz会被上传为桶内对象model.tar.gz。该压缩包即模型文件SageMaker 实例启动时会下载并解压到/opt/ml/model目录供容器加载。SageMaker 模型资源resource aws_sagemaker_model foo { name terraform-sagemaker-example execution_role_arn aws_iam_role.foo.arn primary_container { image ${data.aws_caller_identity.current.account_id}.dkr.ecr.${data.aws_region.current.region}.amazonaws.com/foo:latest model_data_url https://s3-us-west-2.amazonaws.com/${aws_s3_bucket.foo.bucket}/model.tar.gz } tags { foo bar } }关键参数execution_role_arn指向上面创建的 IAM 角色SageMaker 将代入该角色拉取镜像与读取模型primary_container.imageECR 镜像地址动态拼接当前账号与区域foo对应build_and_push.sh的镜像仓库名latest是标签primary_container.model_data_urlS3 中模型文件的 HTTPS 地址。从 model.go 的 Schema 定义看aws_sagemaker_model的primary_container还支持container_hostname、environment、image_config含私有仓库认证repository_auth_config、mode默认SingleModel、model_data_sourceS3 数据源支持compression_type、s3_data_type、s3_uri及 EULA 接受开关model_access_config、inference_specification_name、multi_model_config等扩展属性资源级还支持vpc_config子网与安全组、enable_network_isolation、inference_execution_config。本例只使用最小必需字段。底层实现上resourceModelCreate 会调用CreateModelAPI 组装CreateModelInput其中primary_container通过expandContainer转换为 API 的ContainerDefinition创建过程中对ValidationException采用最多 2 分钟的重试RetryWhenAWSErrCodeEquals以容忍 IAM 等资源的最终一致性。另外需要注意name未指定时 Provider 会自动生成唯一名称create.UniqueId且Update仅处理标签变更其余字段均标记ForceNew即修改模型定义意味着重建资源。SageMaker 端点配置资源resource aws_sagemaker_endpoint_configuration foo { name terraform-sagemaker-example production_variants { variant_name variant-1 model_name aws_sagemaker_model.foo.name initial_instance_count 1 instance_type ml.t2.medium initial_variant_weight 1 } tags { foo bar } }production_variants是端点配置的核心块本例使用最小配置variant_name变体名称同一端点下可挂多个变体用于 A/B 测试model_name引用上一步创建的aws_sagemaker_model.foo.name建立端点配置 → 模型的依赖initial_instance_count初始实例数本例为 1instance_typeml.t2.medium一种入门级通用实例initial_variant_weight流量权重默认 1。从 endpoint_configuration.go 的 Schema 看production_variants支持 110 个变体每个变体还可配置accelerator_type、container_startup_health_check_timeout_in_seconds603600 秒、model_data_download_timeout_in_seconds、volume_size_in_gb1512、routing_config、serverless_config无服务器推理max_concurrency1200、memory_size_in_mb限 1024/2048/3072/4096/5120/6144、managed_instance_scaling、inference_ami_version等资源级还支持async_inference_config异步推理与data_capture_config数据捕获等进阶能力。实现上resourceEndpointConfigurationCreate 调用CreateEndpointConfig并通过expandProductionVariants第 886 行起把 HCL 配置转换为 API 的ProductionVariant列表variant_name未显式指定时Provider 会自动生成唯一值。该资源同样是标签之外只增不改ForceNew的不可变资源更新端点配置即创建新配置。SageMaker 端点资源resource aws_sagemaker_endpoint foo { name terraform-sagemaker-example endpoint_config_name aws_sagemaker_endpoint_configuration.foo.name tags { foo bar } }这是部署链路的最后一级endpoint_config_name引用端点配置的名称Terraform 据此建立依赖顺序——先建模型、再建配置、最后建端点。从 endpoint.go 源码可见resourceEndpointCreate 调用CreateEndpoint后并不会立即返回成功而是通过waitEndpointInService轮询等待端点进入InService状态若因 IAM 角色信任问题导致失败还会执行回滚删除并重试。这也解释了为什么terraform apply在创建端点这一步通常会持续数分钟。此外aws_sagemaker_endpoint还支持deployment_config蓝绿/滚动更新策略、自动回滚等见 endpoint.go本例未使用。对应的验收测试 endpoint_test.go 中的TestAccSageMakerEndpoint_basic、TestAccSageMakerEndpoint_tags、TestAccSageMakerEndpoint_disappears等用例验证了资源创建、标签更新与导入等行为可作为理解资源语义的补充参考。第三步初始化并应用配置在 examples/sagemaker 目录下依次执行terraform init terraform applyterraform init会下载randomprovider 与 AWS providerterraform apply将按依赖顺序创建 S3 桶、上传模型、创建 IAM 角色与策略、创建 SageMaker 模型、端点配置与端点。输入yes确认后等待执行完成。由于端点需要拉取镜像、下载模型并启动推理容器端点创建步骤耗时较长属正常现象。第四步发起预测调用验证部署回到amazon-sagemaker-examples/advanced_functionality/scikit_bring_your_own/container/目录使用 AWS CLI 的runtime.sagemaker invoke-endpoint命令向名为terraform-sagemaker-example的端点发送一次 CSV 格式的预测请求aws runtime.sagemaker invoke-endpoint --endpoint-name terraform-sagemaker-example \ --body cat ./local_test/payload.csv --content-type text/csv output.dat参数说明--endpoint-name与aws_sagemaker_endpoint的name保持一致--body请求体这里直接读取示例自带的local_test/payload.csv测试数据--content-typetext/csv与容器内推理脚本约定的输入格式一致output.dat响应落盘文件。查看返回的预测值cat output.dat输出即为模型对输入样本的预测结果。如果返回ModelError之类的错误可从 CloudWatch 日志组策略中已授权创建查看容器日志排查容器内推理脚本的问题。第五步销毁部署验证完成后回到示例目录清理全部资源terraform destroyterraform destroy会按依赖逆序删除端点、端点配置、模型、S3 桶配合force_destroy清空对象、IAM 策略与角色等全部资源避免持续产生实例费用。注意 ECR 中的镜像不会由 Terraform 删除本示例未管理 ECR 仓库如需彻底清理请单独删除foo仓库。常见问题与排障要点端点创建长期处于 Creating/失败优先检查 IAM 角色信任关系是否允许sagemaker.amazonaws.com代入、策略是否包含ecr:BatchGetImage等镜像拉取权限、模型 S3 路径是否可访问。源码 endpoint.go 中专门针对sts:AssumeRole信任错误做了回滚重试说明这是最常见的失败原因。镜像地址不匹配build_and_push.sh推送的仓库名示例为foo必须与aws_sagemaker_model中primary_container.image的仓库段一致且区域与provider aws的region一致。实例类型不可用ml.t2.medium并非所有区域都提供可替换为该区域可用的实例类型如ml.m5.large并相应调整成本预期。模型文件缺失确认model.tar.gz存在于示例目录且内容符合容器加载约定解压至/opt/ml/model。重跑示例S3 桶名含随机后缀销毁重建不会因桶名冲突而失败可直接重复terraform apply。延伸向生产配置演进本示例是最小可运行的入门配置从 endpoint_configuration.go 与 model.go 的 Schema 可以看出现有 Provider 已支持更贴近生产的能力例如使用serverless_config切换到无服务器推理并按调用计费通过production_variants配置多个变体与initial_variant_weight做灰度流量分发用deployment_config配置蓝绿/滚动更新策略与 CloudWatch Alarm 自动回滚用data_capture_config捕获线上请求数据用于后续模型监控以及用vpc_config将推理实例放入私有子网。这些能力都可以在保持模型 → 端点配置 → 端点核心链路不变的前提下按需叠加让 Terraform 管理 SageMaker 推理服务的实践平滑地从示例走向生产。【免费下载链接】terraform-provider-awsThe AWS Provider enables Terraform to manage AWS resources.项目地址: https://gitcode.com/GitHub_Trending/te/terraform-provider-aws创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
使用 Terraform 在 AWS SageMaker 中部署自有机器学习模型完整实战指南【免费下载链接】terraform-provider-awsThe AWS Provider enables Terraform to manage AWS resources.项目地址: https://gitcode.com/GitHub_Trending/te/terraform-provider-aws本篇指南基于 terraform-provider-aws 仓库中的 SageMaker 示例 及其配套的 main.tf完整演示如何将自带算法Bring Your Own Model包装进 Docker 容器、推送至 Amazon ECR再通过 Terraform 依次创建 SageMaker 模型Model、端点配置Endpoint Configuration与实时推理端点Endpoint并最终发起一次真实的预测调用验证部署结果。读完本文你将掌握用 Terraform 代码化托管机器学习推理服务的完整链路并理解aws_sagemaker_model、aws_sagemaker_endpoint_configuration、aws_sagemaker_endpoint三个核心资源之间的依赖关系与底层实现。示例整体架构从模型文件到实时推理端点该示例的部署链路分为两大阶段镜像准备阶段与Terraform 部署阶段。在镜像准备阶段你需要将机器学习算法打包成符合 SageMaker 推理容器规范的 Docker 镜像并推送到你自己账号下的 ECR 仓库在 Terraform 部署阶段配置会完成以下工作把模型文件model.tar.gz上传到 S3 桶创建 IAM 执行角色与策略授权 SageMaker 拉取 ECR 镜像、读取 S3 模型数据、写入 CloudWatch 日志创建 SageMaker 模型引用 ECR 镜像 URI 与 S3 模型数据地址创建端点配置指定实例类型、初始实例数量、模型引用创建实时端点挂载端点配置SageMaker 会自动拉起实例并加载模型提供服务。从源码结构看这一模型 → 端点配置 → 端点的三角关系正是 SageMaker 推理服务的标准组装方式model.go 实现aws_sagemaker_modelendpoint_configuration.go 实现aws_sagemaker_endpoint_configurationendpoint.go 实现aws_sagemaker_endpoint三者恰好一一对应 API 层的CreateModel、CreateEndpointConfig与CreateEndpoint。环境准备获取示例模型与凭据示例模型来自 AWS 官方的 SageMaker 示例仓库scikit_bring_your_own目录一个基于 scikit-learn 的自带算法示例。首先克隆该仓库并进入容器目录git clone https://github.com/awslabs/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/advanced_functionality/scikit_bring_your_own/container/说明amazon-sagemaker-examples是 AWS 官方的公开示例仓库如果你无法访问 GitHub也可以使用任意符合 SageMaker 容器规范 的自建镜像替代核心要求是镜像内实现serve与train等入口脚本。接下来为当前终端导出 AWS 凭据供后续build_and_push.sh脚本调用 AWS CLI 使用export AWS_ACCESS_KEY_IDyour-access-key-id export AWS_SECRET_ACCESS_KEYyour-secret-access-key如果使用了临时凭据还需导出AWS_SESSION_TOKEN。建议同时确认aws configure list能正确解析区域信息因为推送镜像时脚本需要据此构造 ECR 仓库地址。第一步构建 Docker 镜像并推送至 ECR在示例容器目录下执行仓库自带的构建与推送脚本参数foo将作为镜像在 ECR 中的仓库名./build_and_push.sh foo该脚本通常会完成以下动作具体实现见 amazon-sagemaker-examples 仓库本地构建 Docker 镜像 → 在 ECR 创建名为foo的仓库若不存在→ 使用docker login向 ECR 认证 → 将镜像打上account-id.dkr.ecr.region.amazonaws.com/foo:latest标签并推送。推送完成后镜像地址形如account-id.dkr.ecr.region.amazonaws.com/foo:latest这个地址正是后续aws_sagemaker_model中primary_container.image所引用的值。示例的 main.tf 采用动态拼接方式构造该地址见下文因此无需硬编码账号与区域。第二步逐段解析 Terraform 配置示例的完整配置位于 examples/sagemaker/main.tf下面按资源类型逐段拆解。Provider 与随机后缀依赖terraform { required_version 0.12 required_providers { random { version ~ 3.6 } } } provider aws { region us-west-2 }要求 Terraform 版本不低于 0.12声明了randomprovider版本 ~ 3.6用于生成全局唯一的 S3 桶后缀Provider 固定使用us-west-2区域实际使用时可按需修改但需保证 ECR 镜像推送区域与 Terraform 部署区域一致。获取当前账号与区域信息data aws_caller_identity current {} data aws_region current {}这两个数据源分别返回当前 AWS 账号 ID 与当前区域名用于动态拼接 ECR 镜像地址https://s3-us-west-2.amazonaws.com/...等资源定位符避免硬编码。IAM 角色、策略与授权挂载resource aws_iam_role foo { name terraform-sagemaker-example path / assume_role_policy data.aws_iam_policy_document.assume_role.json } data aws_iam_policy_document assume_role { statement { actions [sts:AssumeRole] principals { type Service identifiers [sagemaker.amazonaws.com] } } } resource aws_iam_policy foo { name terraform-sagemaker-example description Allow SageMaker to create model policy data.aws_iam_policy_document.foo.json } data aws_iam_policy_document foo { statement { effect Allow actions [ sagemaker:* ] resources [ * ] } statement { effect Allow actions [ cloudwatch:PutMetricData, logs:CreateLogStream, logs:PutLogEvents, logs:CreateLogGroup, logs:DescribeLogStreams, ecr:GetAuthorizationToken, ecr:BatchCheckLayerAvailability, ecr:GetDownloadUrlForLayer, ecr:BatchGetImage ] resources [ *] } statement { effect Allow actions [ s3:GetObject ] resources [ arn:aws:s3:::${aws_s3_bucket.foo.bucket}, arn:aws:s3:::${aws_s3_bucket.foo.bucket}/* ] } } resource aws_iam_role_policy_attachment foo { role aws_iam_role.foo.name policy_arn aws_iam_policy.foo.arn }策略授权分为三组sagemaker:*允许 SageMaker 服务创建模型、端点配置与端点日志与 ECR 相关权限允许写入 CloudWatch 日志组/日志流、上报指标并从 ECR 拉取镜像GetAuthorizationToken、BatchGetImage等s3:GetObject仅限读取示例创建的 S3 桶用于在实例启动时下载模型文件。信任策略assume_role_policy允许服务主体sagemaker.amazonaws.com代入该角色——这一步是端点实例能代表你访问 ECR 与 S3 的前提。从 endpoint.go 源码可以看到如果角色不存在或其信任关系不允许sagemaker.amazonaws.com执行sts:AssumeRoleCreateEndpoint会等待失败并触发回滚重试逻辑这从实现侧印证了 IAM 配置的关键性。S3 桶与模型文件上传resource random_integer bucket_suffix { min 1 max 99999 } resource aws_s3_bucket foo { bucket terraform-sagemaker-example-${random_integer.bucket_suffix.result} force_destroy true } resource aws_s3_bucket_acl foo_bucket_acl { bucket aws_s3_bucket.foo.id acl private } resource aws_s3_object object { bucket aws_s3_bucket.foo.bucket key model.tar.gz source model.tar.gz }桶名通过random_integer追加随机后缀规避 S3 桶名全局唯一的要求force_destroy true允许销毁时连同桶内对象一并删除方便示例反复创建销毁本地model.tar.gz位于 examples/sagemaker/model.tar.gz会被上传为桶内对象model.tar.gz。该压缩包即模型文件SageMaker 实例启动时会下载并解压到/opt/ml/model目录供容器加载。SageMaker 模型资源resource aws_sagemaker_model foo { name terraform-sagemaker-example execution_role_arn aws_iam_role.foo.arn primary_container { image ${data.aws_caller_identity.current.account_id}.dkr.ecr.${data.aws_region.current.region}.amazonaws.com/foo:latest model_data_url https://s3-us-west-2.amazonaws.com/${aws_s3_bucket.foo.bucket}/model.tar.gz } tags { foo bar } }关键参数execution_role_arn指向上面创建的 IAM 角色SageMaker 将代入该角色拉取镜像与读取模型primary_container.imageECR 镜像地址动态拼接当前账号与区域foo对应build_and_push.sh的镜像仓库名latest是标签primary_container.model_data_urlS3 中模型文件的 HTTPS 地址。从 model.go 的 Schema 定义看aws_sagemaker_model的primary_container还支持container_hostname、environment、image_config含私有仓库认证repository_auth_config、mode默认SingleModel、model_data_sourceS3 数据源支持compression_type、s3_data_type、s3_uri及 EULA 接受开关model_access_config、inference_specification_name、multi_model_config等扩展属性资源级还支持vpc_config子网与安全组、enable_network_isolation、inference_execution_config。本例只使用最小必需字段。底层实现上resourceModelCreate 会调用CreateModelAPI 组装CreateModelInput其中primary_container通过expandContainer转换为 API 的ContainerDefinition创建过程中对ValidationException采用最多 2 分钟的重试RetryWhenAWSErrCodeEquals以容忍 IAM 等资源的最终一致性。另外需要注意name未指定时 Provider 会自动生成唯一名称create.UniqueId且Update仅处理标签变更其余字段均标记ForceNew即修改模型定义意味着重建资源。SageMaker 端点配置资源resource aws_sagemaker_endpoint_configuration foo { name terraform-sagemaker-example production_variants { variant_name variant-1 model_name aws_sagemaker_model.foo.name initial_instance_count 1 instance_type ml.t2.medium initial_variant_weight 1 } tags { foo bar } }production_variants是端点配置的核心块本例使用最小配置variant_name变体名称同一端点下可挂多个变体用于 A/B 测试model_name引用上一步创建的aws_sagemaker_model.foo.name建立端点配置 → 模型的依赖initial_instance_count初始实例数本例为 1instance_typeml.t2.medium一种入门级通用实例initial_variant_weight流量权重默认 1。从 endpoint_configuration.go 的 Schema 看production_variants支持 110 个变体每个变体还可配置accelerator_type、container_startup_health_check_timeout_in_seconds603600 秒、model_data_download_timeout_in_seconds、volume_size_in_gb1512、routing_config、serverless_config无服务器推理max_concurrency1200、memory_size_in_mb限 1024/2048/3072/4096/5120/6144、managed_instance_scaling、inference_ami_version等资源级还支持async_inference_config异步推理与data_capture_config数据捕获等进阶能力。实现上resourceEndpointConfigurationCreate 调用CreateEndpointConfig并通过expandProductionVariants第 886 行起把 HCL 配置转换为 API 的ProductionVariant列表variant_name未显式指定时Provider 会自动生成唯一值。该资源同样是标签之外只增不改ForceNew的不可变资源更新端点配置即创建新配置。SageMaker 端点资源resource aws_sagemaker_endpoint foo { name terraform-sagemaker-example endpoint_config_name aws_sagemaker_endpoint_configuration.foo.name tags { foo bar } }这是部署链路的最后一级endpoint_config_name引用端点配置的名称Terraform 据此建立依赖顺序——先建模型、再建配置、最后建端点。从 endpoint.go 源码可见resourceEndpointCreate 调用CreateEndpoint后并不会立即返回成功而是通过waitEndpointInService轮询等待端点进入InService状态若因 IAM 角色信任问题导致失败还会执行回滚删除并重试。这也解释了为什么terraform apply在创建端点这一步通常会持续数分钟。此外aws_sagemaker_endpoint还支持deployment_config蓝绿/滚动更新策略、自动回滚等见 endpoint.go本例未使用。对应的验收测试 endpoint_test.go 中的TestAccSageMakerEndpoint_basic、TestAccSageMakerEndpoint_tags、TestAccSageMakerEndpoint_disappears等用例验证了资源创建、标签更新与导入等行为可作为理解资源语义的补充参考。第三步初始化并应用配置在 examples/sagemaker 目录下依次执行terraform init terraform applyterraform init会下载randomprovider 与 AWS providerterraform apply将按依赖顺序创建 S3 桶、上传模型、创建 IAM 角色与策略、创建 SageMaker 模型、端点配置与端点。输入yes确认后等待执行完成。由于端点需要拉取镜像、下载模型并启动推理容器端点创建步骤耗时较长属正常现象。第四步发起预测调用验证部署回到amazon-sagemaker-examples/advanced_functionality/scikit_bring_your_own/container/目录使用 AWS CLI 的runtime.sagemaker invoke-endpoint命令向名为terraform-sagemaker-example的端点发送一次 CSV 格式的预测请求aws runtime.sagemaker invoke-endpoint --endpoint-name terraform-sagemaker-example \ --body cat ./local_test/payload.csv --content-type text/csv output.dat参数说明--endpoint-name与aws_sagemaker_endpoint的name保持一致--body请求体这里直接读取示例自带的local_test/payload.csv测试数据--content-typetext/csv与容器内推理脚本约定的输入格式一致output.dat响应落盘文件。查看返回的预测值cat output.dat输出即为模型对输入样本的预测结果。如果返回ModelError之类的错误可从 CloudWatch 日志组策略中已授权创建查看容器日志排查容器内推理脚本的问题。第五步销毁部署验证完成后回到示例目录清理全部资源terraform destroyterraform destroy会按依赖逆序删除端点、端点配置、模型、S3 桶配合force_destroy清空对象、IAM 策略与角色等全部资源避免持续产生实例费用。注意 ECR 中的镜像不会由 Terraform 删除本示例未管理 ECR 仓库如需彻底清理请单独删除foo仓库。常见问题与排障要点端点创建长期处于 Creating/失败优先检查 IAM 角色信任关系是否允许sagemaker.amazonaws.com代入、策略是否包含ecr:BatchGetImage等镜像拉取权限、模型 S3 路径是否可访问。源码 endpoint.go 中专门针对sts:AssumeRole信任错误做了回滚重试说明这是最常见的失败原因。镜像地址不匹配build_and_push.sh推送的仓库名示例为foo必须与aws_sagemaker_model中primary_container.image的仓库段一致且区域与provider aws的region一致。实例类型不可用ml.t2.medium并非所有区域都提供可替换为该区域可用的实例类型如ml.m5.large并相应调整成本预期。模型文件缺失确认model.tar.gz存在于示例目录且内容符合容器加载约定解压至/opt/ml/model。重跑示例S3 桶名含随机后缀销毁重建不会因桶名冲突而失败可直接重复terraform apply。延伸向生产配置演进本示例是最小可运行的入门配置从 endpoint_configuration.go 与 model.go 的 Schema 可以看出现有 Provider 已支持更贴近生产的能力例如使用serverless_config切换到无服务器推理并按调用计费通过production_variants配置多个变体与initial_variant_weight做灰度流量分发用deployment_config配置蓝绿/滚动更新策略与 CloudWatch Alarm 自动回滚用data_capture_config捕获线上请求数据用于后续模型监控以及用vpc_config将推理实例放入私有子网。这些能力都可以在保持模型 → 端点配置 → 端点核心链路不变的前提下按需叠加让 Terraform 管理 SageMaker 推理服务的实践平滑地从示例走向生产。【免费下载链接】terraform-provider-awsThe AWS Provider enables Terraform to manage AWS resources.项目地址: https://gitcode.com/GitHub_Trending/te/terraform-provider-aws创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
