STAY KOBE

[SolutionArchitect Pro] Amazon Kinesis

Atsushi Marumo

Amazon Kinesis

Kinesis Streams

Kinesis Streams コンポーネント

Kinesis 対 SQS

Kinesis 対 S3

Amazon Kinesis Amazon S3
スループット 1000/シャードあたり TPS は、write-read-once-many に最適化されたキー名に依存します
サイズ PutRecord を使用した単一レコードと、PutRecords を使用して最大500個のバッチ入力 単一オブジェクト
パフォーマンス PUTのレイテンシは 100ms まで S3のリージョンとエンドポイントに依存する
コンシューマ 順次読み込み(2MB) 各オブジェクトを取得する必要がある
イベントオーダー 順序付け（各シャードの内側に） 組込み順序なし
チェックポイント分析 シーケンス番号を使用 シーケンスなし
PUT/GET操作のコスト $ $$$

AWS認定試験の練習問題

  1. 米国での配送トラックの GPS 座標を追跡するアプリケーションを配備しています。各配送トラックから3秒に1度座標が送信されます。複数のコンシューマからのこれらの座標のリアルタイム処理を可能にするアーキテクチャを設計する必要があります。データの取り込みを実装するには、どのサービスを使用する必要がありますか。
    1. Amazon Kinesis
    2. AWS Data Pipeline
    3. Amazon AppStream
    4. Amazon SQS
  2. あなたは非常に人気のテレビ番組の投票を収集するアプリケーションを展開している。何百万のユーザーがモバイルデバイスを使用して投票を送信します。投票は、リアルタイムの公共の集計のための耐久性、拡張性、および高可用性データストアに収集する必要があります。どのサービスを使用する必要がありますか。
    1. Amazon DynamoDB
    2. Amazon Redshift
    3. Amazon Kinesis
    4. Amazon SQS
  3. あなたの会社は、ペットのための健康的なライフスタイルを促進する家族を支援するために生体情報を収集する次世代ペット用首輪を開発する過程にあります。各首輪は、Web ポータルの管理を介してペットの所有者と獣医に戻って健康トレンド情報を提供するデータを処理し、分析するコレクションプラットフォームに2秒ごとに JSON 形式でバイオメトリックデータの 30KB をプッシュしますあなたを任務としている収集プラットフォームを設計し、次の要件を満たしていることを確認します。インバウンド生体データのリアルタイム分析機能を提供する生体認証データの処理は、非常に耐久性があり、伸縮性があり、並行していることを確認します。分析処理の結果は、データマイニングのために永続化する必要があります。以下に概説するアーキテクチャは、コレクションプラットフォームの初期要件を満たしていますか。
    1. S3 を使用して受信センサーデータを収集する毎日のスケジュールされたデータパイプラインを使用して S3 からデータを分析し、結果を Redshift クラスターに保存します。
    2. Amazon Kinesis を利用して、受信センサーデータを収集し、Kinesis クライアントとデータを分析し、EMR を使用して Redshift クラスターに結果を保存します。(リンク参照)
    3. SQS を活用して受信センサーデータを収集する Amazon Kinesis で SQS からデータを分析し、その結果を Microsoft SQL Server RDS インスタンスに保存します。
    4. EMR を利用して受信センサーデータを収集し、Amazon Kinesis で EMR からデータを分析し、DynamoDB に結果を保存します。
  4. お客様は、ログ・ストリーム (アクセス・ログ、アプリケーション・ログ、セキュリティ・ログなど) を1つのシステムに統合することを心がけています。統合後、お客様は、ヒューリスティックに基づいて、これらのログをリアルタイムで分析したいと考えています。お客様は、過去12時間から抽出されたデータ・サンプルに戻る必要があるヒューリスティックを検証する必要があります。お客様の要件を満たすための最善の方法は何ですか?
    1. すべてのログイベントを Amazon SQS に送信します。EC2 サーバーの自動スケーリンググループをセットアップして、ログを使用し、ヒューリスティックを適用します。
    2. Amazon Kinesis にすべてのログイベントを送信するログにヒューリスティックを適用するクライアントプロセスを開発します (リアルタイム分析を実行し、7日間に拡張可能な24時間データを格納できます)
    3. カスタムログを受信するように Amazon CloudTrail を構成し、EMR を使用してログをヒューリスティックに適用する (CloudTrail は監査のみ)
    4. EC2 syslogd サーバーの自動スケーリンググループをセットアップし、ログを S3 に保存します電子カルテにヒューリスティックを適用する (EMRはバッチ分析用)
  5. ウェブサイト上で顧客のクリックストリームデータを分析し、行動分析を行うことができるようにする必要があります。顧客は、顧客がクリックしたページと広告の順序を知る必要があります。このデータは、ユーザーがサイトをクリックして粘着性を高め、広告をクリックしてページレイアウトを変更するためにリアルタイムで使用されます。キャプションの要件を満たし、このデータを分析するオプションはどれですか。
    1. URL ストアによるウェブログのクリックを Amazon S3 に記録し、EMR で分析します。
    2. Amazon Kinesis にセッションごとに web クリックをプッシュし、Kinesis ワーカーを使用して動作を分析する
    3. クリックイベントを Amazon Redshift に直接書き込み、SQL で分析する
    4. web クリックをセッションごとに Amazon SQS キューに発行する男性は、定期的にこれらのイベントを Amazon RDS にドレインし、SQL で分析します。
  6. ソーシャルメディア監視アプリケーションでは、AWS Elastic Beanstalk で実行されている Python アプリを使用して、ツイート、Facebook のアップデート、RSS フィードを Amazon Kinesis Streams に挿入します。2番目の AWS Elastic Beanstalk アプリは、Amazon DynamoDB テーブルに主要なパフォーマンスインジケータを生成し、ダッシュボードアプリケーションに電力を供給します。このアプリケーションのデータ損失を防ぐための最も効率的なオプションは何ですか。
    1. DynamoDB テーブルを別のリージョンにレプリケートするには、AWS データパイプラインを使用します。
    2. 2番目の AWS Elastic Beanstalk アプリを使用して、Kinesis データのバックアップを Amazon EBS に保存し、Amazon EBS ボリュームからスナップショットを作成します。
    3. 別のアベイラビリティーゾーンに2番目の Amazon Kinesis Streams を追加し、AWS Data Pipeline を使用して Kinesis Streams 間でデータをレプリケートします。
    4. Amazon Kinesis S3 コネクタを使用して Amazon Kinesis から Amazon S3 にデータをアーカイブする3番目の AWS Elastic Beanstalk アプリを追加します。
  7. 2つのシステム間で API 呼び出しをリアルタイムでレプリケートする必要があります。API 呼び出しイベントのバッファーおよびトランスポート機構として使用するツールを選択してください。
    1. AWS SQS
    2. AWS Lambda
    3. AWS Kinesis(aws キネシスはイベントストリームサービスです。ストリームはバッファとして機能し、システム間でのトランスポートを順番にプログラム可能なイベントにすることができるため、システム間での API 呼び出しのレプリケーションに最適です)。
    4. AWS SNS
  8. 適切に構造化されたデータに対してアドホックなビジネス分析クエリを実行する必要があります。データは常に高い速度で入ってきます。ビジネスインテリジェンスチームは SQL を理解できます。最初にどの AWS サービスを参照する必要がありますか。
    1. Kinesis Firehose + RDS
    2. Kinesis Firehose + Redshift (Kinesis Firehose は、ストリーミングデータを集約し、Redshift に挿入するためのマネージサービスを提供します。RedShift は、SQL 準拠のワイヤプロトコルを使用して、構造化されたデータに対するアドホッククエリもサポートしているため、ビジネスチームはこのシステムを簡単に採用できます。リンク参照)
    3. Hive を使用した EMR
    4. Apache SPARK が稼働している EMR

リファレンス

Jayendra’s Blog

この記事は自己学習用に「AWS Kinesis – Certification（Jayendra’s Blogより）」を日本語に訳した記事です。