モーダルを閉じる工作HardwareHub ロゴ画像

工作HardwareHubは、ロボット工作や電子工作に関する情報やモノが行き交うコミュニティサイトです。さらに詳しく

利用規約プライバシーポリシー に同意したうえでログインしてください。

工作HardwareHub ロゴ画像 (Laptop端末利用時)
工作HardwareHub ロゴ画像 (Mobile端末利用時)
目次目次を開く/閉じる

AWS 落穂拾い (Data Engineering)

モーダルを閉じる

ステッカーを選択してください

モーダルを閉じる

お支払い内容をご確認ください

購入商品
」ステッカーの表示権
メッセージ
料金
(税込)
決済方法
GooglePayマーク
決済プラットフォーム
確認事項

利用規約をご確認のうえお支払いください

※カード情報はGoogleアカウント内に保存されます。本サイトやStripeには保存されません

※記事の執筆者は購入者のユーザー名を知ることができます

※購入後のキャンセルはできません

作成日作成日
2022/07/27
最終更新最終更新
2025/01/22
記事区分記事区分
一般公開

目次

    アカウント プロフィール画像 (サイドバー)

    サーバーレスとDevOpsに注力中。AWSを使った効率的なインフラ構築が得意です。

    0
    ステッカーを贈るとは?

    Kinesis

    • Kinesis Streams
    • Kinesis Firehose
      • Kinesis Streams の後段に配置します。
        • Kinesis Streams を介さずに、Kinesis Firehose に直接データ入力することもできます。
      • 他の AWS サービスへの接続時に利用します。
        • バッファを利用したバッチ処理となっており、"Near" real time に連携します。Data Delivery Frequency
        • 例えば S3 への即時連携が必要な場合は、Kinesis Stream の後段に Kinesis Firehose ではなく Lambda を配置します。
        • 60 秒 (既定値) 経過、または batch サイズに到達した際に連携 (buffer flush) されます。
        • バッファサイズは firehouse の利用状況に応じて自動調整されます。
      • Lambda を併用して、データ加工できます。Amazon Kinesis Data Firehose Data Transformation
      • 失敗時のデータ、またはすべてのデータを S3 に送信できます。Troubleshooting Amazon Kinesis Data Firehose
    • Kinesis Analytics
      • Kinesis Streams または Kinesis Firehose の後段に配置します。
    • Kinesis Client Library (KCL)

    AWS Batch

    • HPC (high-performance computing) 向けサービスの一つです。
    • Docker image を利用して job 実行します。What Is AWS Batch?
      • 内部的に ECS を利用しており、Fargate または EC2 インスタンスでジョブを実行します。
      • EC2 On-Demand または Spot Instance を利用します。
      • Fargate On-Demand または Fargate Spot Instance を利用します。
    • CloudWatch Events を併用してスケジュール実行できます。
    • Step Functions を併用して、バッチジョブの実行を制御できます。
    • Multi Node mode Multi-node parallel jobs
      • Placement Group (cluster) と併用できます。
      • Spot Instance との併用はできません。
      • 1 インスタンスを main とし、他のインスタンスを child node としてジョブを並列処理します。

    Amazon EMR

    Glue

    • AWS マネージドな ETL サービスです。

    Redshift

    • PostgreSQL をベースにしています。Amazon Redshift and PostgreSQL
      • PostgreSQL と異なり、トランザクション用ではなく、データ分析用の列指向 DB です。
    • シングル AZ で稼働します。
    • Redshift は provisioned なサービスであるため、単発的なクエリであれば Athena を利用します。
    • S3 にスナップショットを保存できます。Amazon Redshift snapshots
      • 追加のスナップショット作成時は、差分のみが保存されます。
      • 他のリージョンのスナップショットとしてコピーすることもできます。DR 対策として活用できます。
        • KMS key はリージョン毎に存在します。スナップショットを暗号化してコピーするためには、コピー先のリージョンの KMS key を、Redshift クラスタが利用できるように grant しておく必要があります。Copying AWS KMS–encrypted snapshots to another AWS Region
    • Redshift Spectrum Querying external data using Amazon Redshift Spectrum
      • S3 に存在するデータを、ロードすることなくクエリ分析できます。
      • Redshift クラスタが存在している必要はあります。
        • Redshift クラスタの compute node から、Redshift Spectrum の node に通信がなされます。
        • Redshift Spectrum の node が S3 から read します。
    • Workload Management (WLM) Workload management
      • 短期間で完了するクエリと、長時間必要なクエリの queue を分離することができます。
      • 管理者用の queue を専用に設けることもできます。
      • Automatic WLM → Redshift が WLM を管理する場合。
      • Manual WLM → AWS 利用者が WLM を管理する場合。
    • Working with concurrency scaling
      • クラスタを自動追加してスケールします。
    • 監査ログ
      • S3 または CloudWatch に格納できます。
      • 既定では無効化されており、有効化する必要があります。
      • S3 について、SSE-S3 暗号化をサポートします。

    DocumentDB

    Athena、Quicksight

    0
    詳細設定を開く/閉じる
    アカウント プロフィール画像 (本文下)

    サーバーレスとDevOpsに注力中。AWSを使った効率的なインフラ構築が得意です。

    記事の執筆者にステッカーを贈る

    有益な情報に対するお礼として、またはコメント欄における質問への返答に対するお礼として、 記事の読者は、執筆者に有料のステッカーを贈ることができます。

    さらに詳しく →
    ステッカーを贈る コンセプト画像

    Feedbacks

    Feedbacks コンセプト画像

      ログインするとコメントを投稿できます。

      関連記事

      • AWS EC2 インスタンスの選定方法
        準仮想化と完全仮想化 AWS のインスタンスタイプが準仮想化と完全仮想化のどちらの仮想化技術を採用したハードウェアであるかによって、使用できる AMI (OS) が異なるのは以下の理由によります。 準仮想化 ParaVirtualization (PV) において OS は自分が仮想化用のハードウェア上で動作していることを知っています。つまり仮想化用にカスタマイズされた専用の OS が必要になりま...
        yuki_coderyuki_coder9/30/2017に更新
        いいねアイコン画像0
      • OpenVPN で二つの VPC をつなぐための設定
        インターネット VPN (Virtual Private Network) には二拠点間の通信を暗号化する方式によって IPsec-VPN や SSL-VPN などがあります。OpenVPN は SSL-VPN の実装のひとつです。AWS VPC を二つ用意してそれらを OpenVPN で接続してみます。 VPC の構成 myvpc-1 (10.1.0.0/16) mysubnet-1-1 (10...
        takuyatakuya9/11/2017に更新
        いいねアイコン画像0
      • Windows Server EC2 インスタンスへの CAL インストール
        サムネイル画像-8bae43ea3b
        Windows サーバを AWS EC2 インスタンスとして起動した後は、RDP 接続が必要となります。RDP 接続を行なうためには Remote Desktop Services (RDS) ライセンスが必要となります。 Windows Server のライセンスは、管理用途の RDS 接続を許可しています。その際に RDS ライセンスは不要です。ただし、[同時接続数が 2 という制限があります...
        けんちゃんけんちゃん12/18/2023に更新
        いいねアイコン画像0
      • AWS Lambda の基本的な使い方
        サムネイル画像-9285163f6b
        AWS Lambda はイベントドリブンな「関数」を登録できるサービスです。例えば S3 に画像がアップロードされたときにサムネイル用のサイズに加工する処理が記述された関数を登録できます。基本的な使い方をまとめます。 事前準備 関数の登録はブラウザで AWS コンソールにログインして行うこともできますが、本ページでは AWS C
        yuki_coderyuki_coder2/18/2020に更新
        いいねアイコン画像0
      • Windows Server EC2 インスタンスによって Active Directory を構築する設定例
        サムネイル画像-c40f03af4b
        本ページでは Windows Server 自体の設定で AD を構築する例を記載します。 AD の Domain Service (DS) および DNS 役割のインストール 注意 RDS CAL に関連して、AD DC と同じサーバに RDS セッションホストをインストールする場合は、最初に DC をインストールしてから、その後に RDS セッションホストをインストールします。 If you ...
        きらりコードきらりコード12/14/2023に更新
        いいねアイコン画像0