项目背景

北京快手科技有限公司是国内知名互联网公司。公司围绕着“发现真实有趣的世界”理念，打造了全球最大的短视频分享社区——快手。与其他社交类软件公司不同的是，快手是一家技术驱动型公司，倡导工程师文化，希望通过技术的力量使人与人之间的联系更加紧密。在这里，用户可免费使用快手平台上传7-57秒的视频，记录和分享生活点滴，增进人与人之间的联系和了解。 公司致力于为用户打造“简单，好用”的使用体验，在公司使用的 CloudFront 上，快手公司希望能接入公司定制化的日志需求与相应接口功能，来让快手人员更好的接入并使用 CloudFront。

北京快手科技有限公司在使用CloudFront为其短视频业务进行加速，给客户提供优质的网络访问服务。在使用CloudFront服务的过程中，公司需要对CloudFront服务收集相关数据指标，用作监控分析和业务分析。快手希望通过API接口的方式收集相关数据指标，利用API接口与公司的程序进行对接，实现监控数据自动化。

架构说明

• 该解决方案使用的资源将单独部署在一个新账号中。
• 客户账号的CloudFront日志上传到一个S3桶中。当有日志文件上传触发事件，调用Lambda对数据进行处理，然后存放在另外一个S3桶中。
• 每天23:00执行创建第二天的Athena分区，每5分钟执行一次Athena统计相关指标数据。并将结果数据写入DynamoDB。
• API Gateway关联Lambda查询DynamoDB，用户通过API请求获得相关数据。

痛点 & 问题

1. Cloudfront标准日志中，不含有终端客户国家的信息数据。
2. Cloudfront标准日志中，不含有终端客户运营商的ASN的数据。
3. Cloudfront监控API中，没有提供回源成功率，回源延迟，回源峰值带宽等等的API接口。

优点 & 价值

1. 解决方案可以根据客户的需求，定制开发指标数据。
2. Cloudfront标准日志中信息不足，通过Lambda对数据进行处理，增加客户需要的信息数据。
3. 解决方案使用的无服务器架构，使用云厂商托管服务包括S3、Lambda、Athena、API Gateway等，提供了高可用的环境架构。
4. 使用托管服务的生命周期管理，对数据进行生命周期的管理，预防存储浪费，成本增高。