Kinesis Data Streams と Data Firehose(流れ続けるデータの取り込みと届け先)
Kinesis Data Streams は流れ続けるデータを受け取って一定の期間ため、複数の処理から読ませるサービスです。Data Firehose は流れてくるデータをまとめて S3 などの届け先へ運び、形式の変換もできます。
試験ガイドを確かめた日:2026年11月17日試験ガイドを確かめた日:2026年11月17日(7 日を過ぎています)
2026年11月17日 に取った SAA-C03 の対象サービスの一覧には Amazon Data Firehose がありません(2026年10月14日 に取った一覧にはありました)が、Revisions のページ(版 1.1)の「Services removed from the in-scope list」には書かれておらず、AWS の 2 つの文書が食い違っています(このページに関わる名前のうち Amazon Kinesis は一覧にあります)。
ストリーミングのデータ
ログ、アプリケーションの記録、ウェブのクリックの流れ、市場のデータなど、途切れずに届き続けるデータを、ストリーミングのデータと呼びます。Amazon Kinesis Data Streams は、こうしたデータを大量に、リアルタイムに集めて処理するためのサービスです。出典1
Kinesis Data Streams は、Data Firehose、Kinesis Video Streams、Managed Service for Apache Flink とともに、Kinesis のストリーミングの仕組みの一部です。出典1
Kinesis Data Streams の仕組み
データを送る側(プロデューサー)が Kinesis Data Streams に次々とデータを送り、受け取る側(コンシューマー)がリアルタイムに処理します。コンシューマーには、EC2 の上の自作のアプリケーションや Data Firehose があり、結果を DynamoDB・Redshift・S3 などに保存できます。出典2
主な言葉は次のとおりです。出典2
- データストリーム: シャードの集まりです
- シャード: データレコードの並びを持つ単位です。プロビジョンドモードでは、ストリームの容量はシャードの容量の合計です
- データレコード: ストリームに保存するデータの単位で、シーケンス番号・パーティションキー・データ本体(最大 1 MB)でできています
- 保持期間: データを入れてから読める期間です。既定は 24 時間で、最大 365 日まで延ばせます
容量のモード
容量のモードは、容量の管理のしかたと料金のかかり方を決めます。2026-11-17 時点のドキュメントでは、次の 3 つから選びます。出典3
| モード | 容量の決め方 |
|---|---|
| On-demand Standard | 容量の計画が要らず、Kinesis Data Streams がシャードを自動で管理します。量が大きく変わり予測しにくい通信に向いています |
| On-demand Advantage | アカウント単位のモード。書き込みの容量を前もって暖めておけるなど、オンデマンドの機能を足し、料金の形を単純にしたもの |
| Provisioned | シャードの数を自分で決め、必要に応じて増減させます。シャードの数に時間単位の料金がかかります |
Data Firehose
Amazon Data Firehose は、ストリーミングのデータを S3・Redshift・OpenSearch Service・Splunk・Apache Iceberg のテーブル・HTTP のエンドポイントなどの届け先へ運ぶ、フルマネージドのサービスです。Firehose ストリームを作り、そこへデータを送ると、届け先まで運ばれます。既存の Kinesis のデータストリームから自動で読み込むこともできます。出典4
Firehose は、届いたデータを決まった大きさ(バッファサイズ、MB 単位)か決まった時間(バッファの間隔、秒単位)までためてから届け先へ送ります。Redshift へ届けるときは、いったん S3 に置き、Redshift の COPY コマンドで読み込ませます。出典4
形式の変換(JSON から Parquet・ORC へ)
Data Firehose は、入ってきた JSON のデータを、S3 に保存する前に Apache Parquet や Apache ORC の形式へ変換できます。Parquet と ORC は列ごとにデータを並べる形式(列指向)で、JSON のような行ごとの形式より場所を取らず、検索も速くなります。CSV など JSON 以外のデータは、先に Lambda の関数で JSON に変換してから使います。出典5
Data Streams と Firehose の違い
Data Streams はデータを保持期間のあいだためておき、複数のコンシューマーがそれぞれ読み出す使い方に向きます。Firehose はためて読ませるのではなく、決めた届け先へ運ぶことが仕事です。SQS・SNS・EventBridge との違いは、比べる表「つなぎ方の分け方」で扱います。出典1出典2出典4
当たる試験ガイドの箇条(SAA-C03)
- 3.5知識 2:
Data ingestion patterns (for example, frequency)
- 3.5知識 7:
Streaming data services with appropriate use cases (for example, Amazon Kinesis)
- 3.5スキル 2:
Designing data streaming architectures
- 3.5スキル 6:
Selecting appropriate configurations for ingestion
- 3.5スキル 7:
Transforming data between formats (for example, .csv to .parquet)
箇条の文は SAA-C03 試験ガイドの英語の原文です。出典:Content Domain 3、著作者:Amazon Web Services、ライセンス:CC BY-SA 4.0。訳と、読むドキュメントの一覧はタスクのページにあります。
あわせて読むページ
出典
- 1Amazon Kinesis Data Streams Developer Guide「What is Amazon Kinesis Data Streams?」著作者:Amazon Web Services、ライセンス:CC BY-SA 4.0、確かめた日:2026年11月17日https://
docs.aws.amazon.com/ streams/ latest/ dev/ introduction.html - 2Amazon Kinesis Data Streams Developer Guide「Amazon Kinesis Data Streams Terminology and concepts」著作者:Amazon Web Services、ライセンス:CC BY-SA 4.0、確かめた日:2026年11月17日https://
docs.aws.amazon.com/ streams/ latest/ dev/ key-concepts.html A stream’s retention period is set to a default of 24 hours after creation.
- 3Amazon Kinesis Data Streams Developer Guide「Choose the right mode to stream in」著作者:Amazon Web Services、ライセンス:CC BY-SA 4.0、確かめた日:2026年11月17日https://
docs.aws.amazon.com/ streams/ latest/ dev/ how-do-i- size-a- stream.html - 4Amazon Data Firehose Developer Guide「What is Amazon Data Firehose?」著作者:Amazon Web Services、ライセンス:CC BY-SA 4.0、確かめた日:2026年11月17日https://
docs.aws.amazon.com/ firehose/ latest/ dev/ what-is- this- service.html - 5Amazon Data Firehose Developer Guide「Convert input data format in Amazon Data Firehose」著作者:Amazon Web Services、ライセンス:CC BY-SA 4.0、確かめた日:2026年11月17日https://
docs.aws.amazon.com/ firehose/ latest/ dev/ record- format- conversion.html Parquet and ORC are columnar data formats that save space and enable faster queries compared to row-oriented formats like JSON.