Jayendra’s Blog

この記事は自己学習用に「AWS Certification – Analytics Services – Cheat Sheet（Jayendra’s Blogより）」を日本語に訳した記事です。

データパイプライン

  • データドリブンワークフローを定義して、定期的なデータ移動およびデータ処理アクティビティを自動化およびスケジュールするためのオーケストレーションサービス。
  • オンプレミスおよびクラウドベースのストレージシステムと統合。
  • ワークフローのスケジューリング、再試行、および失敗のロジックを許可します。

EMR

  • EC2 と S3 の Web スケールのインフラストラクチャ上で実行されているホスト型 Hadoop フレームワークを利用する Web サービスです。
  • 同じアベイラビリティーゾーン内の特定のクラスタのすべてのノードを起動し、より高いデータアクセス速度を提供するため、パフォーマンスが向上します。
  • 予約済みのオンデマンドおよびスポットインスタンスをシームレスにサポート。
  • タスクを実行するためのデータとタスクノードを保持するコアノードで構成される、管理ノードおよびスレーブ節のマスタノードで構成されます。
  • スレーブノードの障害に対してフォールトトレラントであり、スレーブノードがダウンした場合にジョブの実行を継続。
  • 障害が発生したスレーブを引き継ぐために別のノードを自動的にプロビジョニングしない。
  • 永続的および一時的なクラスタタイプをサポート。
    • 継続的に実行される永続性
    • ジョブステップ完了後に終了するトランジェント
  • S3 が永続的な HA データストレージとして使用できるようにする EMRFS をサポート。

Kinesis

  • 大規模なストリーミングデータのリアルタイム処理が可能。
  • レコードの順序を提供するだけでなく、複数のキネシスアプリケーションに同じ順序でレコードを読み取りおよび/または再生する機能。
  • データは、リージョン内の3つのデータ・センターに複製され、デフォルトでは24時間、保存され、7日間に延長することができます。
  • ストリームは、パーティションキーに基づいて複数のシャードを使用してスケーリングすることができ、各シャードは 1MB/sec データ入力の容量を提供し、毎秒 1000 PUT リクエストで ２MB/sec のデータ出力を行います。
  • Kinesis vs SQS
    • ストリーミングビッグデータのリアルタイム処理 vs メッセージを格納するための高信頼性、スケーラビリティの高いホストキュー
    • 順序付けられたレコードだけでなく、同じ順番でレコードを読み取りおよび/または再生する機能 vs データの順序を保証されない (FIFO キュー機能がリリースされる前の標準キューで)。
    • 最大24時間のデータ保存、7日間 vs 最大4日間、1分から14日まで設定できますが、コンシューマが削除した場合は削除されます
    • 複数のコンシューマを同時にサポート vs 複数のコンシューマにメッセージを配信するために複数のキューが必要。