その他サービス ・
Kinesis Data Firehose とは？S3 / Redshift へのストリーム配信
Amazon Kinesis Data Firehose は ストリーミングデータを S3 / Redshift / OpenSearch / Splunk / HTTP エンドポイントに自動配信するフルマネージドサービス。Kinesis Data Streams より シ...
ストリーミングデータを S3 / Redshift / OpenSearch / Splunk に簡単配信するサーバーレスサービス。
1. 概要（端的に）
Amazon Kinesis Data Firehose は ストリーミングデータを S3 / Redshift / OpenSearch / Splunk / HTTP エンドポイントに自動配信するフルマネージドサービス。Kinesis Data Streams より シンプル・サーバーレスで、コンシューマー実装不要。バッファリング・圧縮・暗号化・Lambda 変換に対応。
2. 何ができるか
- 配信先：S3 / Redshift / OpenSearch / Splunk / HTTP
- バッファリング：時間 or サイズ単位
- データ変換：Lambda で変換・加工
- データ圧縮：GZIP / Snappy
- データ暗号化：KMS
- フォーマット変換：JSON → Parquet / ORC
3. 特徴
| 観点 | 特徴 |
|---|---|
| 追加料金 | 取り込みデータ量 |
| 管理不要 | サーバーレス |
| 遅延 | 60 秒 〜 数分（バッファ依存） |
| 対象 | S3 / Redshift / OpenSearch / Splunk |
vs Kinesis Data Streams
| 観点 | Firehose | Data Streams |
|---|---|---|
| 用途 | 配信特化 | リアルタイム処理 |
| 管理 | サーバーレス | シャード管理 |
| 遅延 | 60 秒〜 | サブ秒 |
| 保持 | なし（即時配信） | 24 時間〜 |
4. 仕組み
Firehose は プロデューサー → 内部バッファ → 配信先 のフロー。途中で Lambda 変換やフォーマット変換が挟める。
5. ユースケース
ユースケース 1：ログ収集
アプリログを S3 に集約 → Athena で分析。
ユースケース 2：データレイク投入
IoT データ → Parquet 変換 → S3。
ユースケース 3：リアルタイム分析
データ → OpenSearch → Kibana ダッシュボード。
ユースケース 4：監査ログ
CloudWatch Logs → Firehose → S3 長期保管。
6. 関連用語
- Kinesis-Data-Streams — リアルタイム処理特化
- S3 / Redshift — 主な配信先
- Athena — 配信後の分析
7. 関連サイト
🎓 試験での出題傾向
| 試験 | 重要度 | 主な出題パターン |
|---|---|---|
| CLF | 中 | ストリーミング配信の概念 |
| SAA | 高 | データレイク・ログ集約設計 |
| DVA | 中 | データ変換実装 |
| SOA | 中 | ログ運用 |