その他サービス ・
Kinesis Data Streams とは？リアルタイムストリーミング基盤
Amazon Kinesis Data Streams は リアルタイムストリーミングデータを処理する基盤。プロデューサーがレコードを送信し、複数のコンシューマーが並列に処理する。シャードで水平スケールし、データは 24 時間〜365 日保持される。 ---
リアルタイムストリーミング基盤。秒間数百万レコードを並列処理可能。
1. 概要（端的に）
Amazon Kinesis Data Streams は リアルタイムストリーミングデータを処理する基盤。プロデューサーがレコードを送信し、複数のコンシューマーが並列に処理する。シャードで水平スケールし、データは 24 時間〜365 日保持される。
2. 何ができるか
- 大規模ストリーミング：秒間数百万レコード
- 複数コンシューマー：1 ストリームから多数並列処理
- データ保持：24 時間（標準）〜 365 日
- シャード単位スケール：1 シャード = 1 MB/s 書込、2 MB/s 読み出し
- Lambda / KCL / Firehose 連携
3. 特徴
| 観点 | 特徴 |
|---|---|
| 追加料金 | シャード時間 + データ取り込み量 |
| シャード単位スケール | 1 MB/s in、2 MB/s out |
| 保持 | 24 時間〜365 日 |
| コンシューマー数 | Enhanced Fan-Out で 20 並列 |
| Replay | 保持期間内なら再処理可 |
Provisioned vs On-Demand
- Provisioned：シャード数を事前指定
- On-Demand：自動スケール（2024-）
4. 仕組み
Kinesis は シャードにレコードを格納し、コンシューマーが シーケンス番号順に読み出す。
動作
- プロデューサーが PutRecord
- シャードキーでシャード割当
- コンシューマー（Lambda / KCL / Firehose）が読み出し
- シーケンス番号で順序保証
- 24 時間後 or 設定期間後に削除
5. ユースケース
ユースケース 1：IoT データ処理
センサーデータの集約 → 異常検知。
ユースケース 2：ログストリーミング
アプリログをリアルタイム分析。
ユースケース 3：金融取引
取引データのリアルタイム処理。
ユースケース 4：クリックストリーム
Web サイトの行動データ収集。
6. 関連用語
- Kinesis-Firehose — S3 / Redshift への配信特化版
- Lambda — 主要コンシューマー
- DynamoDB-Streams — DB 変更ストリーム
7. 関連サイト
🎓 試験での出題傾向
| 試験 | 重要度 | 主な出題パターン |
|---|---|---|
| CLF | 中 | ストリーミングの概念 |
| SAA | 高 | リアルタイム処理設計（頻出） |
| DVA | 高 | プロデューサー・コンシューマー実装 |
| SOA | 中 | スケール運用 |