EC2 Placement Groups

• Placement Group Strategies
  • Cluster → ある AZ 内の同じ rack 内に配置することで、インスタンス間の通信遅延を小さくします。
  • Spread → 異なる AZ に配置することに加え、ある AZ 内において利用するハードウェアが重複しないように配置します。
    • AZ 内のインスタンス数の上限が 7 となります。
  • Partition → ある AZ 内に最大 7 の partition を作成し、partition 内に EC2 インスタンスを配置します。Partition 間でハードウェアが重複しないようにします。
    • EC2 インスタンスは partition の情報を metadata として取得できます。
• EC2 インスタンスを stop した状態で CLI を利用すれば、Placement Group にインスタンスを出し入れできます。Change the placement group for an instance

Placement Group を作成しておきます。

EC2 インスタンス起動時にパラメータとして placement group を指定できます。

EC2 Enhanced networking (拡張ネットワーク)

• Placement Groups と同様に、通信遅延を小さくするために利用できます。Enhanced networking on Linux

EC2 インスタンス purchasing options

• Instance purchasing options
• On-Demand Instances。
• Spot Instances → 停止されることがある代わりに低料金です。
• SP と RI Compute Savings Plans and Reserved Instances
  • Compute Savings Plans → Fargate や Lambda にも適用されます。低割引率。
  • EC2 Instance Savings Plans → 高割引率。
  • Convertible Reserved Instances → 低割引率。
  • Standard Reserved Instances → 高割引率。
• Dedicated Hosts
  • 物理サーバを予約します。
  • Windows Server, Microsoft SQL Server といった、per-socket, per-core でライセンス料金が発生するソフトウェア利用時に活用できます。
  • host affinity を設定することで、同じ Dedicated Host でインスタンスが再起動するように設定できます。
• Dedicated Instances
  • socket や core は見えません。Differences between Dedicated Hosts and Dedicated Instances
  • BYOL (Bring Your Own License) は基本的にサポートされません。
  • 他の AWS アカウントとは独立した物理サーバでインスタンスを起動する必要がある場合に活用します。
  • VPC tenancy または EC2 Instance 設定の tenancy について、いずれか片方が dedicated となっている場合は、結果として dedicated instance となります。下記参照。

Configure instance tenancy with a launch configuration

EC2 インスタンスのメトリクス

• Monitor Amazon EC2
• CPU、Network に関するメトリクスが CloudWatch に連携されます。
• Disk に関するメトリクスは、インスタンスストアについてのみ CloudWatch に連携されます。Instance metrics
• Types of status checks
  • System status checks → AWS が管理するハードウェアレベルでのチェックです。インスタンスを stop して start すると、別のハードウェアにマイグレーションされるため、暫定的な対処法として有効です。
  • Instance status checks → ハードウェアの上で動作するインスタンス VM のチェックです。
• メモリのメトリクスを取得するためには、CloudWatch Agent が必要です。Collect metrics and logs from Amazon EC2 instances and on-premises servers with the CloudWatch agent

EC2 インスタンスのストレージ

Storage

• EBS
  • ネットワーク的にインスタンスにアタッチされます
  • Snapshot は S3 に保存されます。
  • io2 Block Express を利用すれば、約 25 万 IOPS まで性能が出せます。Amazon EBS volume types
  • gp2/gp3 の最大 IOPS は 16,000 です。
    • おおよそ 5.34 TiB (5,334 GiB) 程度で上限値となります。
    • より高い IOPS が必要な場合は io1/io2 に切り換える必要があります。
    • Overview of General Purpose SSD volumes
    • Amazon RDS DB instance storage
      • IO 性能が不足すると、例えば Queue Depth メトリクスが上昇します。
• Instance Store (Ephemeral Disk)
  • EBS よりも高い IOPS 性能となります。
  • EC2 インスタンスと物理的に一体となっており、インスタンスを Stop するとデータが消失します。(reboot では消えません。)

HPC (high-performance computing)

• Choosing between AWS Batch or AWS ParallelCluster for your HPC Workloads
  • AWS Batch → AWS マネージドサービス。EC2 インスタンスを利用してジョブを実行します。
  • AWS ParallelCluster → AWS が提供するオープンソースのツール。

Auto Scaling Groups

• 動的スケーリングポリシー Dynamic scaling for Amazon EC2 Auto Scaling
  • Target Tracking Scaling → 例: ASG (Auto Scaling Group) の平均 CPU 使用率が 40% になるように動的スケーリング。
  • Simple / Step Scaling → 例: 上記 CPU 使用率が 70% 以上 / 30% 以下になり CloudWatch alerm がトリガされたら 2 unit 追加 / 1 unit 削除。
• Scheduled Actions → 例: 金曜日の 18時になったら min capacity を 20 に変更。Scheduled scaling for Amazon EC2 Auto Scaling
• Predictive Scaling Predictive scaling for Amazon EC2 Auto Scaling
  • 過去のワークロードの履歴から未来を推定して、スケーリング。
• スケーリング判断時に利用される CloudWatch メトリクスの例。Monitor predictive scaling metrics with CloudWatch
  • ASG 平均 CPU 使用率。
  • EC2 インスタンスあたりのリクエスト数。
  • ネットワーク In/Out 通信料、等。
• Spot Fleet → Spot インスタンスと On-Demand インスタンスを併用。Spot Fleet
• Lifecycle Hooks → インスタンスが起動または終了した際の処理を指定可能です。Amazon EC2 Auto Scaling lifecycle hooks
• AMI の更新 Replace Auto Scaling instances based on an instance refresh
  • Launch template/configuration を更新し、インスタンスを手動で terminate します。
  • または、Auto Scaling の EC2 Instance Refresh 機能を利用します。
• Instance Refresh
  • 最小の healthy percentage を指定します。
  • インスタンスが使用可能になるまでの warm-up time を指定します。
• Launch template の更新
  • ALB target group は同じ ASG とし、ASG 内の Launch template バージョンを更新する方法、または
  • ASG を新規に用意して ALB target group として追加し、新旧 ASG (ALB target group) へのトラフィックを split する方法、または
  • ALB と ASG のセットを新規に用意して、Route53 CNAME Weighted record を利用して、新旧 ALB へのトラフィックを制御する方法。
• インスタンスの削除と新規作成の順序について。
  • Unhealthy となったインスタンスについては、削除されてから新規作成されます。
  • AZ のリバランス時には、新規作成されたインスタンスが稼働し始めてから、旧インスタンスを削除します。Amazon EC2 Auto Scaling benefits

ECS、Fargate

• ECS クラスタ
  • EC2 インスタンスを Auto Scaling Group で起動する方法と、Fargate を利用する方法があります。What is AWS Fargate?
• IAM ロール
  • ECS container instance IAM role
    • Fargate を利用する場合は指定しません。
    • EC2 インスタンスが持つ IAM ロールです。
  • ECS task execution IAM role
    • ECS エージェントが持つ IAM ロールです。
  • ECS task IAM roles
    • ECS タスク (コンテナプロセス) が持つ IAM ロールです。
• Task
  • task definition に従って起動されたコンテナです。Amazon ECS task definitions
  • Service と併用せずに、単体で起動させることもできます。Run a standalone task
• Service
  • Task を管理して常時起動するための機能です。Amazon ECS services
  • ALB を前段に設置して、Service 内の Task (コンテナプロセス) のポート番号に動的に紐付け可能です。Application Load Balancer
• Specifying sensitive data using Secrets Manager
  • Secret Manager や SSM Parameter Store を用いて、Task の環境変数に認証情報などを渡すことができます。
• Amazon ECS task networking
  • 既定値の awsvpc では、各 Task が VPC 内の ENI と Private IP を持ちます。
• Service auto scaling
  • 内部的には Application Auto Scaling を利用しています。What is Application Auto Scaling?
  • EC2 Auto Scaling と同様の機能をコンテナレベルで提供します。
    • Target Tracking
    • Step Scaling
    • Scheduled Scaling
• Fargate Spot
  • ECS を Fargate で利用する場合に利用できます。
• ECS を EC2 インスタンスで利用する場合、前述の Spot Instance を ASG で管理して利用できます。
• ECR
  • Public レポジトリを作成することもできます。Amazon ECR Public Gallery

Lambda

• CPU は RAM に依存して決定されます
  • RAM の最大サイズ 10GB 時に 6vCPUs となります。
  • Configuring function memory (console)
  • New for AWS Lambda – Functions with Up to 10 GB of Memory and 6 vCPUs
• その他の制限 Lambda quotas
  • 最大 15 分でタイムアウトします。
  • /tmp ストレージが既定では 512 MB 利用できます。
  • デプロイ時のパッケージは zip 圧縮された状態で 50 MB、unzip 状態で 250 MB の制限があります。
  • 同時実行数には 1000 のリミットが存在します。上限緩和が可能です。
    • 関数に対して reserved concurrency を設定可能です。Managing Lambda reserved concurrency
  • Lambda でコンテナイメージを用いる際、イメージサイズには 10GB の制限があります。
  • Lambda リクエスト時の request/response には、同期実行で 6 MB、非同期実行時で 256 KB の制限があります。
• X-Ray Using AWS Lambda with AWS X-Ray
  • Lambda には Cold と Warm 状態があり、Cold 状態の場合、invoke するまでに 100ms 程度の latency が発生します。Understanding how functions warmers work
  • Lambda から他の AWS マネージドサービスを起動する際にも latency が発生します。
  • X-Ray を用いると、連鎖する latency を可視化できます。
    • 参考: プログラミング言語 SDK からも X-Ray を利用できます。AWS X-Ray API
• 権限 Lambda execution role
  • 必要な権限を持つ IAM ロールを Lambda に設定します。
  • Lambda の resource-based policy を設定して、他からの invoke を許可できます。Using resource-based policies for Lambda
• Lambda に ENI を持たせて、VPC 内に配置することができます。VPC networking for Lambda
• Lambda の実行ログは CloudWatch Logs に格納されます。
• Lambda のメトリクスは CloudWatch Metrics で確認できます。
• Lambda 実行時の IAM ロールには、CloudWatch への書き込み権限を付与しておく必要があります。Lambda execution role
• 非同期処理を実行する Lambda。Asynchronous invocation
  • invoke もとは S3、SNS、CloudWatch Events 等です。
  • 失敗時のリトライは Lambda 自身が行います。最大3回。
    • DLQ (dead-letter-queue) を SNS または SQS に指定できます。
    • リトライ処理が重複しても問題ないように、idempotent (冪等性) を持つようにします。
  • 非同期実行 lambda function の結果を、SQS や SNS、Lambda、EventBridge bus に連携できます。
• Lambda event source mappings
  • SQS、DynamoDB Streams、Kinesis Data Streams 等の、lambda を invoke できないリソースを polling します。
  • polling した結果 event で lambda function を batch 実行します。
    • function の実行が失敗した時はリトライされます。
    • リトライ処理が重複しても問題ないように、idempotent (冪等性) を持つようにします。
• Lambda function versions
  • Lambda をデプロイするとバージョンが新規に作成されます。
  • バージョンは immutable です。
  • $LATEST は最新のバージョンを指します。
• Lambda function aliases
  • バージョンを指すポインタです。mutable です。
  • $LATEST を指すこともできます。
  • 二つのバージョンを比率を指定して指すこともできます。
  • エイリアスからエイリアスを指すことはできません。
  • 例: API Gateway で Lambda エイリアスを指す場合、エイリアスが指す Lambda バージョンを更新する際に API Gateway 側の設定変更は発生しません。
• Creating and sharing Lambda layers
  • 複数の関数から共通して利用したい処理を layer として扱うことができます。
• CodeDeploy Deployment configurations on an AWS Lambda compute platform
  • 上記エイリアスが指すバージョンの更新をサポートします。
  • Linear → 例: 10%/3分 のペースで比率を調整。
  • Canary → 例: まず 10% で試してみて、5分間問題が起きなければ 100% 切り換え。
  • ALlAtOnce → 一括でバージョンを切り換え。
  • デプロイ前後に hook を入れて、ヘルスチェックを実施できます。
• API Gateway の他に、ALB を Lambda の前段に設定することもできます。
  • ALB target group として lambda を指定します。Using AWS Lambda with an Application Load Balancer

ALB、NLB、CLB

• ALB は WebSocket にも対応しています。Listener configuration
• Gateway Load Balancer (GWLB) What is a Gateway Load Balancer?
  • IP レイヤ (レイヤ3、Network Layer) における LB です。
  • L7 の ALB や L4 の NLB よりも低レイヤです。
• ALB target group → EC2 インスタンス、ECS タスク、Lambda、Private IP アドレス。Target type
• NLB は AZ(subnet) 毎に 1 つの静的 IP を持ちます。Availability Zones
  • EIP をアサインすることもできます。
  • つまり、ALB と異なり、NLB は固定 IP を持つことができます。
• NLB target group → EC2 インスタンス、Private IP アドレス、ALB。Target type
  • 固定 IP を持つ NLB の target に ALB を設定することで、固定 IP で ALB にアクセスできます。
• NLB にセキュリティグループを設定することはできません。
  • Client IP preservation を有効化している場合、NLB target の EC2 インスタンス等のセキュリティグループで許可すべき IP は、NLB の IP ではなく、NLB のクライアントの IP となります。
• GWLB target group → EC2 インスタンス、Private IP アドレス。Target groups for your Gateway Load Balancers
• Cross-zone load balancing
  • ALB では有効になっており、無効化できません。
  • NLB、GWLB では無効になっており、有効化すると料金が発生します。

Cross-zone load balancing が無効である場合

Cross-zone load balancing が有効である場合

• Sticky Sessions (Session Affinity) Sticky sessions for your Application Load Balancer
  • CLB、ALB で利用可能です。
  • 同じバックエンドに接続されるように cookie を利用します。
• ルーティングアルゴリズム
  • Least Outstanding Requests → pending/unfinished なリクエスト数が最小のインスタンスにルーティングします。ALB、CLB(L7) で利用できます。Routing algorithm
  • Round Robin → ALB と CLB(L4) で利用できます。
  • Flow Hash → プロトコル、src/dst ip/port、TCP sequence number で生成した hash 値によってルーティングします。NLB で利用できます。Sticky Sessions のように同じ target にルーティングされます。Network Load Balancer overview

API Gateway

• Rate limiting、caching、user authentications といった機能を提供します。Throttle API requests for better throughput
• Amazon API Gateway quotas and important notes
  • 29 秒のタイムアウト制限があります。
  • 10 MB のペイロードサイズ制限があります。
    • S3 へのファイルアップロード処理を実現するためには、S3 pre-signed URL を併用して、レスポンスでは URL を返すようにします。
• Stage Setting up a stage using the API Gateway console
  • API Gateway の API をデプロイする際は、デプロイ先の Stage を指定します。
• Endpoint の種類 Choose an endpoint type to set up for an API Gateway API
  • Edge-Optimized
    • クライアントが複数リージョンの場合に利用します。
    • CloudFront Edge locations を利用して、遅延 (latency) を低減させます。
    • API Gateway 自身は 1 リージョンに存在します。
  • Regional
    • クライアントが 1 リージョンの場合に利用します
    • CloudFront を組み合わせることで、柔軟な caching 設定が可能となります。
  • Private
    • VPC Endpoint 経由でのみ利用できます。
• API Gateway が持つ cache Enabling API caching to enhance responsiveness
  • TTL は既定では 300 秒です。
  • ステージ毎にキャッシュを持ちます。
    • 0.5 GB - 237 GB。
  • HTTP method 毎にキャッシュ設定を持てます。Override API Gateway stage-level caching for method caching
  • クライアントが Cache-Control: max-age=0 ヘッダをリクエストに含めると、キャッシュを利用せずにレスポンスを返します。Invalidate an API Gateway cache entry
  • キャッシュの無効化は CrontFront と比較して即時で行われます。
• HTTP エラー
  • 429 → quota exceeded, throttle (4xx はクライアントエラー)
  • 504 → Integration Failure。API Gateway が 29 秒でタイムアウトした場合などに発生します。
• Resource-based policy を設定可能です。Controlling access to an API with API Gateway resource policies
• IAM Execution Role を設定して、バックエンドの Lambda 等を invoke するために必要な権限を付与しておきます。API Gateway permissions model for invoking an API
• CORS 設定も可能です。Enabling CORS for a REST API resource
• モニタリング Monitoring REST APIs
  • CloudWatch Logs、CloudWatch Metrics、X-Ray。
• Usage Plan Creating and using usage plans with API keys
  • API をサービスとして第三者に提供する際に利用します。
• WebSocket にも対応しています。About WebSocket APIs in API Gateway
  • バックエンドに onConnect、sendMessage、onDisconnect といった複数の Lambda を配置できます。
  • API Gateway との HTTP 接続は persistent となります。
  • Lambda は API Gateway が用意した、専用の callback 用のエンドポイントに HTTP POST することで、WebSocket のメッセージを返せます。Sending data from backend services to connected clients

AWS AppSync

• REST API の API Gateway に対して、AppSync は GraphQL インターフェースを AWS サービスに提供します。What is AWS AppSync?
  • バックエンドには DynamoDB、Lambda、Aurora、Elasticsearch Service 等を利用できます。
  • いずれの場合も、まずは GraphQL schema をアップロードする必要があります。
• WebSocket にも対応しています。Building a real-time WebSocket client
  • MQTT over WebSocket のサポートは 2022/1 に終了しました。

Route53

• Alias Choosing between alias and non-alias records
  • CNAME と似ていますが、AWS リソースを指す、Route53 独自の概念です。
    • ELB、CloudFront、API Gateway、Beanstalk、S3 Websites、VPCE、同じ zone 内の Route53 レコード 等。
    • EC2 DNS name に対する Alias 登録はできません。
  • DNS zone 名に関する挙動が CNAME とは異なります。
    • 例: example.com zone において example.com に対する CNAME を登録はできませんが、www.example.com に対しては CNAME 登録が可能です。
    • Alias の場合は example.com に対しても登録できます。
  • TTL 値は AWS リソース毎に既定値が用いられます。
• Routing Policy Choosing a routing policy
  • Simple
    • A レコードを複数登録した場合に、ルーティング先を選択するのは client 側です。
  • Weighted
    • 同じレコードを複数登録した場合に、ルーティング先を Route53 側で重み付けできます。
  • Latency-based
    • 同じレコードを複数登録した場合に、遅延 (latency) が小さくなるようにルーティングされます。
  • Geolocation
    • Latency-based と異なり、user の location に依存して、解決される先を決定します。
    • 解決できない場合の default location のレコードを登録しておく必要があります。
  • Failover
    • Primary として登録したレコードと、secondary として登録したレコードを準備します。
    • Primary 側の health check が失敗すると、secondary のレコードで名前解決 (ルーティング) するようになります。
• Traffic flow Using traffic flow to route DNS traffic
  • 上記 routing policy の設定が複雑化していくと管理が難しくなります。
  • 可視化して管理を手助けするツールです。
• Hosted Zone Working with hosted zones
  • Public
    • ネームサーバがインターネットに公開されます。
    • DNSSEC を利用できます。
  • Private
    • VPC に紐付けて、VPC 内から利用します。
    • インターネットから利用することはできず、そのため DNSSEC はサポートされません。
    • VPC 設定 enableDnsHostnames、enableDnsSupport を有効化する必要があります。
• Health Check Types of Amazon Route 53 health checks
  • simple routing policy はルーティングが単一であることを想定した仕様のため、Health check は利用できません。
  • 判定方法について How Amazon Route 53 chooses records when health checking is configured
    • health check の対象ではないリソースは、healthy 扱いとなります。
    • health check 結果、すべて unhealthy の場合、クエリ結果を返す必要がある都合上、すべて healthy として扱われます。
    • health check エンドポイントをドメイン名で指定する場合、A レコードで解決した IPv4 によってヘルスチェックされます。Values that you specify when you create or update health checks
    • 18% 以上の結果が healthy となれば、対象のエンドポイントは healthy 判定となります。How Route 53 determines the status of health checks that monitor an endpoint
    • SSL/TLS 証明書は常に信頼します。 "curl -k" に相当する挙動です。How Route 53 determines the status of health checks that monitor an endpoint
    • HTTPS エンドポイントは TLS v1.0 以上をサポートする必要があります。SSL はサポートしません。Values that you specify when you create or update health checks
  • 種別
    • AWS リソースのエンドポイントを監視。
      • public な AWS リソースに対してのみ利用できます。
        • health check 自身は private な AWS リソースエンドポイントを監視できず、CloudWatch の併用が必要です。
      • 2xx または 3xx を返した場合に pass となります。
      • 約 15 ロケーションの global なアクセス元から health check します。
        • アクセスもと IP を AWS リソース側で許可しておく必要があります。
      • Search string を設定しておくことで、レスポンス内のテキストをもとに health check できます。How Route 53 determines the status of health checks that monitor an endpoint
    • 他の health check を監視 (calculated health checks)。
      • 他の child health check を束ねる parent health check を設定できます。
      • child が何個 pass すれば parent が pass となるかを設定します。
    • CloudWatch Alarms を監視。
      • Private Hosted Zone における health check として利用できます。Public Hosted Zone でも利用できます。
      • VPC 外に存在する health checker は、Private な AWS リソースのエンドポイントを直接は監視できません。Configuring failover in a private hosted zone
        • CloudWatch Metric を作成して、CloudWatch Alarm を紐付けます。
        • health checker で CloudWatch Alarm を監視します。
• failover の種別 Active-active and active-passive failover
  • Active-Active
    • 上述の Failover Routing Policy を用いない場合です。
    • Health Check 結果が unhealthy でない resource がクエリ結果として返される候補となります。
  • Active-Passive
    • 上述の Failover Routing Policy を用いる場合です。
• Getting started with Route 53 Resolver
  • VPN や Direct Connect で接続された、GCP VPC やオンプレミスネットワークから、Route53 を利用 (Inbound Endpoint) したり、その逆 (Outbound Endpoint) を実現するための仕組みです。
• AWS 内であれば、Inbound Endpoint および Outbound Endpoint は不要です。
  • 別のアカウントの VPC に対して、Private Hosted Zone (PHZ) を紐付け設定できます。How do I associate a Route 53 private hosted zone with a VPC on a different AWS account?
    • 1. PHZ が存在する AWS アカウントで create-vpc-association-authorization します。
    • 2. VPC が存在する AWS アカウントで associate-vpc-with-hosted-zone します。
    • 3. ベストプラクティスとしては、PHZ が存在する AWS アカウントで delete-vpc-association-authorization しておきます。

AWS Global Accelerator

• What is AWS Global Accelerator?
• AnyCast IP (複数のサーバに同じ IP で到達でき、一番近くのサーバが応答) が 2 つ割り当てられます。
• インターネット上の経路を短縮することで、アプリケーションとの通信を高速化するためのサービスです。
• CloudFront と異なり、キャッシュしません。
• CloudFront と異なり、HTTP(S) だけでなく TCP/UDP にも対応します。
• EIP、EC2 インスタンス、ALB、NLB 等に対応します。
  • EC2 インスタンス、ALB については、接続元クライアントの IP をバックエンドにそのまま伝える機能が利用できます。Preserve client IP addresses in AWS Global Accelerator
• バックエンドのアプリケーションのヘルスチェックも可能です。
• AWS Shield による DDoS 対策にもなります。
• 種別
  • standard accelerator
    • 負荷分散を目的としています。
    • ユーザに近く、health check 結果が healthy なエンドポイントに到達します。
  • Custom routing accelerator
    • 特定の EC2 インスタンスの IP と Port に到達することを目的としています。
    • オンラインゲームにおけるマッチメイキングの例のように、複数のユーザが同じ EC2 インスタンスに到達する必要がある場合に活用されます。
    • VPC subnet を endpoint 作成時に指定し、Subnet 内の EC2 インスタンスに到達します。
      • VPC subnet 以外は指定できません。例えば ALB/NLB は指定できません。Work with custom routing accelerators in AWS Global Accelerator

EC2 AMI

• 他の AWS アカウントから利用するためには、AMI を共有します。Share an AMI with specific AWS accounts
• AMI は、あるリージョンに属するリソースです。他のリージョンから参照して利用することはできず、コピーが必要です。Copy an AMI