基于OpenSearch的集中式日志系统

基于OpenSearch的集中式日志平台，处理来自300+全球企业客户的每日8PB+日志数据。提供CloudTrail、CloudFront、RDS和EKS/EC2应用日志的开箱即用仪表盘——将企业可观测性部署时间从数月缩短至数小时，自动化索引生命周期管理在满足合规要求的同时降低存储成本70%。

点击放大

集中式日志架构完整概览

点击放大

专用于AWS原生服务日志（包括CloudTrail、VPC Flow Logs和CloudFront访问日志）的处理流水线

点击放大

使用Fluent-bit Agent处理EC2实例和EKS集群应用日志的专用流水线

针对AWS上EKS/EC2中缺少集中管理云服务日志和用户应用日志服务的问题，基于OpenSearch（Elasticsearch）构建集中式日志管理平台。提供众多开箱即用的仪表盘，大幅降低用户搭建ELK日志流水线的成本。

该产品已在300+全球客户的生产环境中部署，每天处理PB级日志数据，具有高可用性和可扩展性要求。

Kubernetes Fluent-bit配置管理：

管理Kubernetes Fluent-bit配置的生成和分发，支持DaemonSet和Sidecar两种部署模式，确保从各种容器环境中最优收集日志。

OpenSearch仪表盘开发：

为各类AWS服务（包括CloudTrail、CloudFront、RDS和应用日志）设计并开发全面的OpenSearch仪表盘，为运维团队提供可操作的洞察。

索引生命周期管理：

开发OpenSearch索引创建和轮转的自动化功能，确保高效的存储管理和对数百万条日常日志条目的最优查询性能。

数据流水线洞察：

设计并开发数据流水线洞察仪表盘，将日志处理指标和系统健康状态展示给前端用户，实现主动监控和故障排查。

实时监控CloudFront分发性能、缓存命中率和地理流量分布

全面的安全监控，包括API调用分析、用户活动追踪和异常检测

数据库性能监控，包括查询分析、连接追踪和性能瓶颈识别

规模与性能：

每天处理来自300+企业客户的8PB+日志数据，需要实施复杂的分片策略、索引优化和自动扩缩容机制，以保持亚秒级查询响应时间。

多租户与安全：

设计安全的多租户架构，确保客户间完全数据隔离，同时通过共享基础设施保持运营效率和成本效益。

成本优化：

实施智能数据生命周期管理，采用自动化冷热温数据分层，将存储成本降低70%，同时满足数据可访问性和合规要求。

PythonTypeScriptFastAPIFluent-bitAWS Lambda

OpenSearch (Elasticsearch)Kibana

AWS CDKAmazon S3AWS Step FunctionsAWS CloudFormationAmazon CloudWatchAWS CloudTrailAmazon RDSAmazon CloudFront

展示内容均基于公开信息或脱敏数据处理。