AWS Certified Data Engineer - Associate(DEA-C01)教科書

DEA-C01 は 2024 年 3 月に GA した AWS の新 Associate 認定。旧 AWS Data Analytics Specialty(DAS-C01)の後継 とも言える位置付けで、データレイクハウス時代 の AWS エンジニアに必要な 取込 ・ 変換 ・ 保管 ・ 分析 ・ ガバナンス を測ります。

• 主催: Amazon Web Services(AWS)
• 形式: CBT(Pearson VUE)or オンライン監督受験
• 問題数 / 時間: 65 問 / 130 分
• 回答方式: 単一選択 + 複数選択 + 順序問題
• 合格スコア: 720 / 1000
• 有効期限: 3 年
• 受験料: 150 USD(参考)
• 前提知識: SQL ・ Python ・ AWS 基本(CLF レベル以上)

AWS データ系認定の階層

• Foundational: AI Practitioner(AIF-C01)
• Associate: Data Engineer Associate(DEA-C01、本資格) / ML Engineer Associate(MLA-C01) / SAA
• Specialty: ML Specialty(MLS-C01)

公式試験ガイドのドメイン

1. Domain 1: Data Ingestion and Transformation(34%): 取込 ・ 変換
2. Domain 2: Data Store Management(26%): データレイク / DWH 設計
3. Domain 3: Data Operations and Support(22%): オーケストレーション ・ 監視
4. Domain 4: Data Security and Governance(18%): IAM ・ 暗号化 ・ Lake Formation

100 〜 200 時間プラン

1. Week 1〜2: AWS 基本 + S3 + IAM の復習
2. Week 3〜4: Glue + Athena + Redshift
3. Week 5〜6: Kinesis + MSK + Lambda + Step Functions
4. Week 7〜8: Lake Formation + Data Mesh + DataZone
5. Week 9〜10: 模擬試験 + Skill Builder

ストレージクラス

• S3 Standard: 高頻度アクセス、最高コスト
• S3 Standard-IA / One Zone-IA: 低頻度アクセス、最低 30 日 ・ 128KB 制約
• S3 Intelligent-Tiering: アクセスパターンを自動学習し最適階層へ移動、月額モニタリング料あり
• S3 Glacier Instant Retrieval: ミリ秒取得 ・ 月数回
• S3 Glacier Flexible / Deep Archive: 数分〜数時間 ・ 数時間〜半日 で取り出し、長期アーカイブ用

Lifecycle Rule

• Transition: 一定日数経過後に低コスト階層へ移動
• Expiration: 一定日数経過後にオブジェクト削除
• バージョニング有効時: 過去バージョンも別ルールで管理
• 実装は『prefix / tag 単位』 で柔軟に絞り込み可能

列指向 vs 行指向

• Parquet: 列指向 ・ Snappy / GZIP 圧縮 ・ プレディケートプッシュダウン対応、分析最適
• ORC: 列指向 ・ Hive 系で歴史的に優位 ・ ACID 対応
• Avro: 行指向 ・ スキーマ進化に強い、ストリーム取込に最適
• JSON / CSV: テキスト ・ パース重い ・ 圧縮非効率、変換中継のみ

Hive 形式パーティショニング

• `s3://bucket/table/year=2026/month=05/day=09/` のキー設計
• Athena / Glue / Spark で自動認識(AWS Glue の MSCK REPAIR / Partition Projection)
• Partition Projection: パーティションメタデータをカタログに保持せず、テンプレートから動的解決(高速 ・ 低運用)
• 過剰パーティション(秒単位など)は逆効果(small files 問題)

Glue Data Catalog は AWS のデータカタログ(Hive Metastore 互換)。Athena ・ Redshift Spectrum ・ EMR ・ Lake Formation すべてが共通のメタデータとして参照する。

• Database / Table / Partition / Connection の 4 階層
• Crawler: S3 / RDS をスキャンしてスキーマを自動推論
• スキーマバージョニング: Crawler 実行のたびに新バージョン
• 料金: 100 万オブジェクトまで無料、超過分は月額制

Glue ETL Job の種類

• Spark Job: PySpark / Scala、最も一般的
• Python Shell Job: 軽量 Python スクリプト、Spark なしで動作
• Streaming Job: Kinesis / MSK からのストリーム ETL
• Ray Job: 分散 Python 処理

Glue DPU と性能

• DPU(Data Processing Unit): 4 vCPU + 16GB RAM = 1 DPU
• Standard / G.1X / G.2X / G.4X / G.8X の Worker タイプ
• Auto Scaling: 動的に DPU を増減
• Job Bookmarks: 既処理データをスキップ、増分処理を可能に

Glue DataBrew

• ノーコード ・ ビジュアル ETL: 250 種以上の組込変換
• プロファイリング: データ品質メトリクスを自動算出
• Recipe: 変換手順を再利用可能なレシピとして保存
• Glue Studio との違い: Studio は Spark コード生成、DataBrew は GUI 完結

Athena は S3 上のデータに直接 SQL を投げるサーバレス分析サービス(Presto / Trino エンジン)。スキャン量 5 USD / TB という従量課金。

コスト最適化テクニック

• 列指向(Parquet / ORC)で書く → 不要列をスキップ
• パーティション + Predicate Pushdown → 必要パーティションのみスキャン
• 圧縮(Snappy / GZIP / ZSTD) → スキャン量 30〜80% 削減
• CTAS で集計表を Parquet 化 → 後続クエリ高速化
• Workgroup でクエリ単位の上限 → 暴走クエリ防止

Athena Federated Query

• RDBMS / DocumentDB / Redshift / DynamoDB / CloudWatch Logs などに対し SQL でクエリ
• Lambda コネクタ経由で実装
• S3 + 他データソースの JOIN が 1 クエリで可能

Redshift は AWS の 列指向 MPP 型 DWH。Provisioned(クラスタ管理) と Serverless(自動スケール) の 2 モード。

分散方式とソートキー

• Distribution Style: KEY(指定列でハッシュ分散)/ ALL(全ノードに複製)/ EVEN(ラウンドロビン)/ AUTO
• Sort Key: COMPOUND(複合)/ INTERLEAVED(複数列の優先度同等)
• JOIN するテーブル間で同じ KEY 分散 → コロケート JOIN(高速)
• マスター(小)+ ディメンション = ALL、ファクト(大)= KEY が定石

Redshift Spectrum と Federated Query

• Spectrum: S3 を Redshift クラスタから外部テーブルとして読む(Athena と同等のエンジン)
• Federated Query: RDS / Aurora を直接 SQL でクエリ
• Data Sharing: クラスタ間でデータを共有(コピー不要)
• Streaming Ingestion: Kinesis / MSK から直接マテビューに取込

• Master Node: クラスタ管理 ・ NameNode / ResourceManager 兼務
• Core Node: HDFS データ + 計算
• Task Node: 計算のみ(HDFS なし)、Spot で安く拡張
• EMR Serverless: クラスタレスで Spark / Hive を実行、運用ゼロ
• EMR on EKS: Kubernetes 上で EMR を動かし、リソース共有

EMR では HDFS よりも S3 を直接読み書きするのが標準(EMRFS)。HDFS は シャッフルや一時ファイル用 に短期で使う。

• EMRFS Consistent View: S3 の結果整合性問題を吸収(現在は S3 自身が強整合のため不要)
• EMRFS S3 Select: クエリ条件を S3 にプッシュダウン
• Hive on Tez / Spark / Presto から S3 上のテーブルへ直接アクセス

Kinesis Data Streams

• Provisioned mode: シャード単位課金、シャード = 1MB/s in / 2MB/s out
• On-demand mode: 自動スケール、運用楽 ・ 高単価
• 保持期間: 1 日〜365 日
• Enhanced Fan-Out: コンシューマごとに 2MB/s 専有(複数 Lambda などで活用)

Kinesis Data Firehose

• フルマネージド ・ サーバレス な配信サービス
• 宛先: S3 / Redshift / OpenSearch / Splunk / カスタム HTTP
• バッファリング: サイズ(MB)or 時間(秒)で出力
• 変換: Lambda で行単位変換、Parquet / ORC への変換も組込対応
• Apache Iceberg テーブルへの直接配信 にも対応(2024 GA)

Managed Service for Apache Flink

• 旧 Kinesis Data Analytics、Apache Flink ベースのリアルタイム ETL / 集計 / 結合
• SQL / Python / Java / Scala で実装
• ステートフル処理 ・ ウィンドウ集計 ・ JOIN が得意

• Provisioned: ブローカー数 ・ サイズを指定
• MSK Serverless: 自動スケール、運用ゼロ
• MSK Connect: Kafka Connect マネージド版、Debezium 等のコネクタ実行
• 統合: Kinesis Data Firehose / Lambda / Glue Streaming

• ステートマシン定義(Amazon States Language / JSON) でワークフローを記述
• Standard Workflow: 最大 1 年実行、ETL ・ バッチ向け
• Express Workflow: 5 分以内 ・ 高頻度、リアルタイム ・ Lambda 連携向け
• 直接統合: Glue / EMR / Athena / SageMaker / Lambda などをコードレスで呼び出し
• 並列処理(Map state)・ エラーリトライ ・ Catch / Choice がネイティブ

MWAA

• Apache Airflow のフルマネージド版(Python の DAG)
• 長年の Airflow 資産 ・ オープンソース連携 を活かしたい場合に最適
• コスト: ワーカー ・ スケジューラ常時稼働で Step Functions より高め

EventBridge

• Event Bus: AWS / SaaS / カスタムイベントを集約
• Scheduler: cron / rate での定期実行(Cron 専用に EventBridge Scheduler が GA)
• Pipes: ソース → 任意の変換 → ターゲット の no-code 連携
• S3 イベント駆動 ETL の中核

Apache Iceberg / Hudi / Delta Lake は S3 + Parquet を ACID トランザクション + スキーマ進化 + タイムトラベル + マージ に対応させるオープンテーブルフォーマット。AWS は Iceberg をファースト にサポート。

Iceberg の主要機能

• ACID トランザクション: 同時書込での整合性保証
• スキーマ進化: 列追加 ・ 名前変更 ・ 型変更が安全
• Time Travel: 過去スナップショットへのクエリ
• Hidden Partitioning: パーティション式を内部で管理(クエリ時の SQL で意識不要)
• Row-Level Operations: UPDATE / DELETE / MERGE INTO サポート

AWS での Iceberg 統合

• Glue Data Catalog: Iceberg テーブルをネイティブ管理
• Athena Engine v3: Iceberg DDL / DML 対応
• EMR Spark / Glue Spark: Iceberg ライブラリ込みで起動可能
• Redshift: 外部 Iceberg テーブル読込対応
• Firehose: Iceberg テーブルへ直接配信

Lake Formation の役割

• 列レベル / 行レベル / セル レベル のアクセス制御
• LF-Tag によるタグベースポリシー: 部署 ・ センシティビティ単位の権限管理
• クロスアカウントデータ共有: アカウント間での安全な共有
• Glue Data Catalog 上に重ねて使う(IAM 単独より細かい制御)

DataZone(Data Mesh)

• ドメイン単位のデータカタログ ・ ガバナンス
• Data Producer ・ Consumer のセルフサービス
• Data Mesh アーキテクチャ を AWS で実装する標準サービス

• CloudWatch Metrics: ジョブ実行数 ・ エラー率 ・ Glue DPU 使用率 ・ Redshift CPU など
• CloudWatch Logs: Glue / Lambda / EMR のログ
• CloudWatch Alarms: 閾値超過で SNS 通知 → Lambda / Slack
• CloudWatch Logs Insights: ログを SQL ライクにクエリ
• CloudTrail: API コール監査(誰がいつ何を実行したか)

IaC の選択肢

• CloudFormation: AWS ネイティブ、宣言的 YAML / JSON
• AWS CDK: TypeScript / Python から CloudFormation 生成、抽象度高
• Terraform: マルチクラウド標準
• SAM: サーバレス特化(Lambda / API Gateway / Step Functions)

コスト最適化

• S3 Storage Lens: 全アカウント横断のストレージ可視化
• Cost Explorer / Budgets: 月次コストとアラート
• Trusted Advisor: 未使用リソースの提案
• Athena Workgroup の課金タグ: チーム単位コスト集計
• Redshift RA3 + 自動 Pause: クラスタ非利用時にコンピュート停止

• IAM Role + Bucket Policy の組み合わせで S3 アクセス制御
• KMS(SSE-KMS): AWS マネージド or Customer-Managed キー
• S3 Bucket Keys: KMS 呼び出し回数を削減しコスト最適化
• Glue / Athena / Redshift すべて KMS 統合
• Field-Level Encryption: アプリ層で機微列のみ暗号化(Lambda + KMS)

VPC Endpoint(PrivateLink)

• Gateway Endpoint: S3 / DynamoDB(無料)
• Interface Endpoint: その他 AWS サービス(時間課金 + データ転送)
• インターネットを通さず VPC 内から AWS API を呼ぶ
• Glue Connection で Redshift / RDS を VPC 内から接続

PII / 機微情報の取り扱い

• Amazon Macie: S3 内の PII / 機微情報を ML ベースで自動検出
• Glue DataBrew: マスキング ・ ハッシュ化の組込変換
• Lake Formation 列レベル制御: PII 列を見える人だけに開示
• Redshift Dynamic Data Masking: クエリ時にロールベースで列をマスク