通过分析通话详单CDRs优化通信基础设施 商业生产力

通过分析通话详单记录优化通信基础设施

重点摘要

在这篇文章中，我们将探讨如何利用 Amazon Chime SDK 通话详单记录CDRs来优化企业的通信基础设施。我们将介绍将 CDR 数据转换为 Parquet 格式的流程，以及通过分析这些数据获取的深入见解。利用 AWS 的工具可以实现实时数据处理，为企业提供有关通信模式的有价值信息，从而改善整体操作效率并促进业务增长。

Amazon Chime SDK Voice Connector 是一项云服务，提供 SIP 中继服务，广泛用于企业与客户及合作伙伴之间的有效沟通。通过 Amazon Chime Voice SDK Connector，企业可以将现有的电话系统连接到云端，并享受可扩展性、灵活性和成本效益等特点。然而，对于大型数据量的通话详单记录CDR的管理和处理，对于企业来说，仍然是一个挑战。Amazon Chime SDK Voice Connector的 CDR 处理器可以帮助记录和处理通话数据。通过将这些数据存储在数据湖中并利用数据分析工具进行分析，企业可以获取有关其通信模式的宝贵见解。例如，他们可以识别出哪些团队或部门发起的电话最多，哪些参与者在通话中出现频率最高，以及哪天的哪个时段通话最繁忙。这些信息可以用来优化人员配置，改善团队之间的协作与沟通，识别通信基础设施中的改进空间。例如，如果某些团队的通话次数异常多，可能表明他们需要额外的资源或支持，以更高效地完成工作。总体而言，利用数据湖处理 Amazon Chime SDK Voice Connector CDR 可以帮助企业改善其通信基础设施，优化操作，并通过数据驱动决策推动增长与成功。

在本博客中，我们将探讨如何将 Amazon Chime SDK Voice Connector 生成的 CDR 转换为 Parquet 格式及其优势。将 Amazon Chime SDK Voice Connector 的 CDR 数据转换为 Parquet 格式是一个可以帮助存储和处理通话数据的过程。

Parquet 格式的优势

Parquet 是一种专为大规模数据处理优化的列式存储格式。转换过程可以提高数据处理的性能并降低存储成本。由于 Parquet 是高度压缩的存储格式，因此在存储数据时可以显著减少所需的存储空间，从而降低大数据存储相关的成本。该格式同时支持高效的数据检索，进而减少数据提取的时间。在 Parquet 格式中，数据按列存储，而非行存储，这使得数据的压缩和编码更加高效。而且，该格式支持嵌套数据结构，使其非常适合存储复杂的数据类型如 JSON。

概述

我们将首先创建一个 Amazon Simple Storage Service (S3) 存储桶，以接收来自 Amazon Chime SDK Voice Connector 的 JSON 格式 CDR。接着，我们将创建一个触发 S3 PUT 事件的 AWS Lambda 函数，这将在每个通话完成时写入 CDR 数据。Lambda 函数将读取 JSON 格式的 CDR 数据，并将其发送至 Amazon Kinesis Data Firehose 以进行处理。

一旦数据进入 Kinesis Data Firehose，我们将创建一个 Kinesis Data Firehose 交付流，以直接从 Lambda PUT 接收数据并将数据转换为 Parquet 格式。我们将利用 Kinesis Data Firehose 提供的 缓冲提示，优化数据传送至 S3 的过程。通过调整缓冲区大小和时间间隔，你可以平衡数据传送的成本与实时数据处理的需求，帮助你降低传送成本，同时确保数据得到及时处理。

为查询存储在 Parquet 格式中的数据，我们将创建一个按 CDR 数据时间戳动态分区的 AWS Glue 表。这将令我们能够更有效地查询数据，因为我们可以根据 CDR 数据的时间戳进行过滤。最后，我们将使用 Amazon Athena 来查询存储在动态分区的 Glue 表中的数据。

通过使用 Lambda、Kinesis Data Firehose 和动态分区的 Glue 表，我们可以以实时方式处理 CDR 数据，将其转换为 Parquet 格式，并以成本效益的方式进行查询，从中获得有关语音通信的宝贵见解。

前提条件

要实现本文中描述的解决方案，您需要以下内容：

AWS 账户：您需要一个 AWS 账户来创建和管理所需的 AWS 资源。Amazon Chime SDK Voice Connector：您需要设置 Amazon Chime SDK Voice Connector，以捕获通话详单记录CDR数据。Amazon S3 存储桶 您需要一个 S3 存储桶来以 JSON 格式存储 CDR 数据。AWS Lambda 您需要创建一个 Lambda 函数，该函数将在 S3 PUT 事件触发时处理 CDR 并直接将其 PUT 到 Kinesis Data Firehose 流中。Amazon Kinesis Data Firehose 您需要创建一个 Kinesis Data Firehose 交付流，以将 CDR 转换为 Parquet 格式。AWS IAM 您需要 IAM 角色和策略，以授予 Lambda 函数和 Kinesis Data Firehose 交付流所需的权限。TypeScript 知识：您需要熟悉 Nodejs 编程，以修改本文中提供的示例 Lambda 函数。基本的 Amazon Athena 知识：您需要对 Athena 有基本了解，以查询存储在 S3 中的 Parquet 数据。Amazon EventBridge Scheduler 您可以通过 EventBridge Scheduler 控制台、SDK、AWS CLI，或直接使用 EventBridge Scheduler API。

步骤指南

为了将 CDR JSON 对象转换为 Parquet 文件并通过数据分区优化 Athena 查询，需要使用 AWS 组件如 Lambda 和 Kinesis Data Firehose。

首先通过 Lambda 创建一个 Kinesis Data Firehose 交付流。每当指定的 S3 存储桶发生“对象创建”事件时，Lambda 函数将会触发。Kinesis Data Firehose 收集这些事件，并在设定的时间间隔内将记录压缩为 Parquet 文件，使用 Glue Catalog 中定义的格式。您可以配置 S3 存储桶，根据 CDR JSON 对象中的特定字段例如“EndTimeEpochSeconds”对 Parquet 文件进行分区。这将通过允许您查询特定的数据分区，从而优化 Athena 查询，而无需扫描整个数据集。

飞跃加速器

Glue Catalog 提供了一个集中元数据存储库，使开发者可轻松发现、管理和查询多个数据源中的数据。通过 Glue Catalog，开发者可以为其数据定义表、分区和模式，便于使用 Athena 进行查询和分析。您可以使用 EventBridge Scheduler 创建、运行并管理查询，这些查询将自动按您定义的时间表运行。

验证

为了验证我们的实现，我们将执行以下步骤：

通过将示例 CDR 数据上传到 S3 存储桶来触发 Lambda 函数。您可以将 Amazon Chime SDK Voice Connector 生成的 CDR 上传到您的 S3 存储桶 s3//s3bucketname/AmazonChimeVoiceConnectorCDRs/json/VOICECONNECTORID/YEAR/MONTH/DATE/ 中。检查 Kinesis Data Firehose 交付流，确认以 Parquet 格式成功交付 CDR 数据。我们可以检查 Kinesis Data Firehose 日志，位置在 /aws/kinesisfirehose/ltdeliverystreamnamegt。最后，使用 Athena 查询 Glue 表中存储的数据，您应该能够看到结果。

结论

综上所述，使用 AWS 服务实时处理 Amazon Chime SDK Voice Connector CDR 数据是获取通信系统见解的强大方法。通过利用 Kinesis Data Streams、Lambda 和 S3 等服务，您可以轻松捕获、处理和实时存储 CDR 数据。这使得您能够监控通话质量，跟踪使用模式，并在问题成为重大问题之前识别潜在问题。通过合理的工具和策略，您可以充分利用通过 Amazon Chime SDK Voice Connector CDR 提供的丰富数据，利用这些数据改善您的通信系统，提高整体用户体验。

相较于使用爬虫或静态表，利用 Amazon Chime SDK Voice Connector CDR 数据有几个好处：

实时数据：Amazon Chime SDK Voice Connector CDR 数据可实时获取，意味着您可以在通话发生时监控和分析呼叫数据，这对于快速识别问题并采取纠正措施至关重要。丰富的数据：Amazon Chime SDK Voice Connector CDR 数据提供了关于每个通话的丰富信息，包括通话时长、通话质量和通话参与者。这些数据可用于深入了解使用模式，识别趋势并优化通信系统。可扩展性：Amazon Chime SDK Voice Connector CDR 数据可以轻松扩展以处理大量数据，这对于通话量大的组织来说显得尤为重要，以便迅速处理数据。

要了解更多关于 Amazon Chime SDK Voice Connector 生成的 CDR 数据，请查看以下资源：

AWS控制台的 Amazon Chime SDKGithub Amazon Chime Voice Connector CDR 处理Github Amazon Chime Voice Connector for SIP Trunking什么是 SIP 中继？Amazon Chime SDK博客：监控语音通信：利用 CloudWatch 为 Amazon Chime SDK Voice Connectors 构建仪表板

TAGS

Amazon Chime SDKAmazon Chime Voice Connector

作者介绍

Jillian Munro

Jillian Munro 是 Amazon Chime SDK 的项目经理，专注于 Amazon Chime SDK 的教育和宣传。

Deepjot Saini

Deepjot 是 Amazon Chime SDK 服务中的数据工程师，专注于为各种服务创建和管理数据管道，擅长构建和维护支持高效数据流的复杂数据架构。

Court Schuett

Court Schuett 是 Amazon Chime SDK 的首席传播者，拥有电话技术背景，现在热衷于构建开发工具，帮助开发者和非开发者了解如何与 AWS 协作。

Takeshi Kobayashi

Takeshi Kobayashi 是 AWS 的高级 CDS 专业解决方案架构师，驻扎在西雅图，热衷于基于 AWS 服务为客户构建解决方案。