LambdaS3SQSKinesisGlue
한 광산 회사가 Amazon S3 를 데이터 레이크로 사용하고 있습니다. 이 회사는 광산에 설치된 센서에서 수집한 데이터를 분석하고자 합니다. 센서에서 데이터를 수집하고, S3 버킷에 저장한 후, Apache Parquet 형식으로 변환하는 데이터 파이프라인을 구축하고 있습니다. 이 데이터 파이프라인은 거의 실시간으로 처리되어야 합니다. 변환된 데이터는 Amazon Athena 를 이용한 온디맨드 쿼리에 사용될 예정입니다. 이러한 요구 사항을 충족하는 솔루션은 무엇일까요?