使用 Amazon S3 和 AWS Step Functions 增强文件共享 计算博客

改善文件共享：Amazon S3 和 AWS Step Functions 的应用

作者 James Beswick发表日期 2023年8月29日分类 Amazon S3、AWS Step Functions、无伺服器架构分享链接 永久连结

主要要点

本文介绍如何利用 AWS 无伺服器服务加强文件共享功能。使用 Amazon S3 的预签名 URL 和 AWS Step Functions 可以提供临时的下载链接。范例应用使客户可以根据 IAM 角色限制下载或控制每个对象的下载次数。本文展示的各种 AWS 服务的架构、实作和扩展方式。

Amazon S3 是一项由许多客户使用的云存储服务，旨在安全地存储文件。S3 提供了一种称为预签名 URL的功能，用以生成临时的下载链接，这对于授权用户上传和下载资料来说，是一种高效且安全的方式。

不过，有时客户需要更大的数据存取控制，例如基于 IAM 角色而非预签名 URL 限制下载，或是限制每个对象的下载次数以控制存取成本。此外，追踪访问这些下载 URL 的个体用户也是一项实用功能。

这篇博客展示了一个范例应用，透过使用 AWS 无伺服器服务来提供这些额外的功能。

概述

这个范例中的代码使用了多种无伺服器服务：

服务功能Amazon API Gateway接收所有来自用户的请求，并使用 Amazon Cognito 检查授权。AWS Step Functions协调文件共享和下载的流程，包括用户验证、检查下载资格、记录事件、请求路由和响应格式化。AWS Lambda实施管理功能，例如检索元数据、列出文件和删除操作。Amazon DynamoDB存储文件访问权限，确保用户只能访问与其共享的文件。Amazon S3提供用户上传和下载文件的耐用存储。Amazon Athena提供查询S3 访问日志的高效方式，用以提取下载和带宽使用情况。Amazon QuickSight提供一个可视化仪表板，以查看下载和带宽分析。

AWS Cloud Development Kit (AWS CDK) 部署 AWS 资源，并可以集成到您选择的 CI/CD 流程中。

架构总览

用户界面 前端使用在 S3 上托管的静态 React 单页应用，通过 Amazon CloudFront 提供服务。使用了 AWS NorthStar 和 Cloudscape 设计元件。 Amplify UI 简化与 Amazon Cognito 的交互，如登录、注册及电子邮件验证。API Gateway 用户通过 REST API 与之互动。身份验证 Amazon Cognito 管理用户身份和访问，用户通过电子邮件地址登录并验证其电子邮件地址。访问 API 的请求包括一个访问令牌，该令牌由 Amazon Cognito 授权器 验证。微服务 核心操作由 Lambda 构建，主要工作流程允许用户分享和下载文件，Step Functions 负责流程中的多个步骤协调，包括请求验证、用户权限核对、通知发送、审计及文件访问记录的管理。权限存储 DynamoDB 存储文件的基本信息，如拥有者和共享权限，跟踪谁拥有文件及谁获得了下载权限。文件存储 S3 bucket 是中心文件存储库，每位用户在 S3 bucket 中有一个专用文件夹用以存储文件。通知 解决方案使用 Amazon Simple Notification Service (SNS) 向接收者发送电邮通知，以告知他们新文件的共享。分析 用户每当下载或上传文件到存储桶时，便会生成 S3 访问日志。Amazon Athena 对这些日志进行过滤，以生成下载报告并提取关键信息例如，下载了文件的用户身份和消耗的总带宽。报告 Amazon QuickSight 提供管理界面，方便管理员查看下载报告和仪表板。

操作流程

在开始之前，您需要：

Nodejs 版本 16 或更高版本。AWS CLI 版本 2 或更高版本。一个 AWS 帐户及已在您的计算机上设置的 配置档。

请遵循 代码库 中的说明，将范例部署到您的 AWS 帐户。一旦应用成功部署，便可访问用户界面。

在这个范例中，您将依照以下步骤上传文件并与接收者共享：

用户需要使用电子邮件地址确认身份。点击 创建帐户，然后用您的凭据 登录。

选择 共享文件。

选择 选择文件 以浏览并选择要共享的文件，再点击 下一步。

至少要填写一个接收者。选择 添加接收者 以增加更多接收者，然后点击 下一步。

设置 过期日期 和 限制下载次数，以配置分享的过期日期及限制下载次数，然后点击 下一步。

检查分享请求的详细信息。可以返回前面几个界面进行修改。完成后选择 提交。

点击 我的文件 查看您的共享文件。

飞跃加速器

扩展解决方案

此范例使用 Step Functions 授权您扩展和自定义工作流程。它实施了一个默认的工作流程，使您可以重写逻辑或引入新的步骤，以满足您的需求。

此部分将介绍共享文件和下载文件的 Step Functions 工作流程的默认行为。

共享文件工作流程

共享文件工作流程包括以下步骤：

验证 检查共享请求是否包含所有必要栏位。获取用户信息 从 Amazon Cognito 检索登录用户的信息，如姓名和电子邮件地址。授权 检查存储在 DynamoDB 中的权限，以验证用户是否拥有文件并具备共享权限。审核 记录共享请求以便日后审计。处理 更新 DynamoDB 中的权限存储。发送通知 向接收者发送电子邮件通知，告知他们有新文件与其共享。

下载文件工作流程

下载文件工作流程包括以下步骤：

验证 检查下载请求是否包含所需栏位例如，使用者 ID 和文件 ID。获取用户信息 从 Amazon Cognito 获取用户信息，例如他们的姓名和电子邮件地址。授权 检查 DynamoDB 中的权限存储，以确定用户是否拥有文件或拥有下载该文件的权限的有效接收者。审核 记录下载请求。处理 生成短期有效的 S3 预签名下载 URL 并返回给用户。

Step Functions API 数据映射

该范例使用 API Gateway 的请求和响应数据映射，以使 REST API 能够直接与 Step Functions 通讯。这部分将展示如何根据您的用例自定义映射。

请求数据映射

API Gateway REST API 使用 Apache VTL 模板来转换和构建对底层服务的请求。该解决方案利用 CDK 组件抽象化这些模板的构建：

plaintextapirootaddResource(share)addResource({fileId})addMethod( POST StepFunctionApiIntegration(shareStepFunction [ { name fileId sourceType params } { name recipients sourceType body } / 您的自订输入栏位 / ]) authorizerSettings)

StepFunctionApiIntegration 组件处理请求映射，允许您从进来的 API 请求中提取栏位并将其作为输入传递到 Step Functions 工作流程。这会生成以下 VTL 模板：

json{ name contextrequestId input {userIdcontextauthorizerclaimssubfileIdutilescapeJavaScript(inputparams(fileId))recipientsutilescapeJavaScript(inputjson(recipients))} stateMachineArn stateMachineArn}

在此情况下，栏位从 API 请求参数、主体以及授权标头中提取，并传递给工作流程。您可以根据需求自定义配置。

响应数据映射

该范例具有使用 Apache VTL 的响应映射模板。工作流程中最后一步的输出会被作为 JSON 响应映射并通过 API Gateway 返回给用户。响应同时包括 CORS 标头：

plaintext

set(contextresponseOverrideheaderAccessControlAllowHeaders = )

set(contextresponseOverrideheaderAccessControlAllowOrigin = )

set(contextresponseOverrideheaderAccessControlAllowMethods = )

if(inputpath(status)toString()equals(FAILED))

set(contextresponseOverridestatus = 500)

{ error inputpath(error) cause inputpath(cause)}

else

inputpath(output)

end

您可以根据需求自定义此响应模板。例如，为不同的响应代码提供自订行为。

结论

在这篇博客中，您了解到如何安全地与授权的外部方共享文件并跟踪他们的访问情况，使用了 AWS 无伺服器服务。所展示的范例应用利用 Step Functions 使您能够扩展和自定义工作流程以满足用例需求。

若想学习更多相关概念，请访问：

范例应用使用预签名的 URL 共享对象将 AWS Step Functions 与其他服务结合使用专为云设计的 Cloudscape 设计系统映射模板实用工具参考

更多无伺服器学习资源，请访问 Serverless Land。想了解 Step Functions 的数据处理，请查阅指南 Serverless 数据处理的分布式地图概述。

标签 贡献、无伺服器