PDE_page6

保持ポリシーを設定します。保持ポリシーをロックします。

ネストされたフィールドと繰り返しフィールドを含む、追加専用の非正規化モデルを作成します。インジェストタイムスタンプを使用して履歴データを追跡します。

サブネットでプライベート Google アクセスが有効になっていることを確認します。内部 IP アドレスのみで Dataflow を使用します。

パイプラインコードを変更し、Reshuffle ステップを導入して融合を防ぎます。

Oracle から BigQuery への Datastream サービスを作成し、同じ VPC ネットワークへのプライベート接続構成と BigQuery への接続プロファイルを使用します。

1. Airflow REST API を有効にし、Cloud Functions インスタンスをトリガーするように Cloud Storage 通知を設定します。2. Private Service Connect（PSC）エンドポイントを作成します。3. PSC エンドポイントを介して Cloud Composer クラスタに接続する Cloud Functions を作成します。

Autoclass を有効にした Cloud Storage バケットを作成します。

Cloud Data Fusion を使用して、ファイルを Cloud Storage に移動します。

Dataprep を使用してデータをクリーンアップし、結果を BigQuery に書き込みます。Connected Sheets を使用してデータを分析します。

プロジェクトごとに 1 つずつ、2 つの予約を作成します。SLA プロジェクトの場合は、ベースラインが 300 スロットの Enterprise Edition を使用し、最大 500 スロットの自動スケーリングを有効にします。アドホックプロジェクトの場合は、オンデマンド課金を構成します。

Java Database Connectivity（JDBC）ドライバーと FastExport 接続を使用して、BigQuery Data Transfer Service を使用します。

オンプレミスの HSM で暗号鍵を作成し、Cloud External Key Manager（Cloud EKM）鍵にリンクします。BigQuery リソースの作成中に、作成された Cloud KMS 鍵を関連付けます。

各処理ステップの後に Reshuffle 操作を挿入し、Dataflow コンソールで実行の詳細を監視します。

プロジェクトの BigQuery 予約を作成します。

BigQuery のタイムトラベルを使用して履歴データにアクセスします。

15 分のギャップ期間でセッションウィンドウを使用します。

sales_transaction_header 情報を行として、sales_transaction_line 行をネストされた繰り返しフィールドとして保持する sales_transaction テーブルを作成します。

古いパイプラインをドレインしてから、新しいパイプラインを開始します。

Data Catalog を使用して BigQuery データセットと Pub/Sub トピックを自動的にカタログ化します。カスタムコネクタを使用して、PostgreSQL テーブルを手動でカタログ化します。

Cloud Composer で BigQueryInsertJobOperator を使用し、retry パラメーターを 3 に設定し、email_on_failure パラメーターを true に設定します。

1. 日次パーティションデータサイズが 2 倍になった BigQuery テーブルの重複行を確認します。2. BigQuery Audit ログを確認してジョブ ID を見つけます。3. Cloud Monitoring を使用して、特定された Dataflow ジョブが開始された日時とパイプラインコードバージョンを特定します。4. 複数のパイプラインがテーブルにデータを取り込む場合は、最新バージョンを除くすべてのバージョンを停止します。

公開の可視性で「gdpr」タグテンプレートを作成します。機密データを含むテーブルの HR グループに bigquery.dataViewer ロールを割り当てます。

1. Cloud Build を使用して DAG のコードを開発インスタンスの Cloud Storage バケットにコピーして DAG テストを行います。2. テストに合格したら、Cloud Build を使用してコードを本番インスタンスのバケットにコピーします。

顧客管理の暗号鍵（CMEK）を使用して新しい BigQuery テーブルを作成し、古い BigQuery テーブルからデータを移行します。

データサイエンティストチームのために ORC ファイルを Cloud Storage にコピーしてから、外部 BigQuery テーブルを作成します。

--region フラグを使用してワーカーリージョンを指定します。

Dataflow パイプラインでホッピングウィンドウを使用してデータをグループ化し、集計データを Memorystore に書き込みます。

Dataflow の DoFn コードで例外処理ブロックを使用して、サイド出力と新しい Pub/Sub トピックを介して変換に失敗したメッセージをプッシュします。Cloud Monitoring を使用して、この新しいトピックの topic/num_unacked_messages_by_region 指標を監視します。

アナリストに共有データセットに対する BigQuery Data Viewer ロールを付与します。アナリストごとにデータセットを作成し、各アナリストに割り当てられたデータセットのデータセットレベルで BigQuery Data Editor ロールを付与します。

ウォーターマークを使用して、予想されるデータ到着ウィンドウを定義します。到着時に遅延データを許可します。

クエリでタイムスタンプ範囲フィルターを使用して、特定の範囲の顧客のデータを取得します。

BigQuery Storage Write API を使用し、ターゲット BigQuery テーブルがマルチリージョンであることを確認します。

外部テーブルを BigLake テーブルにアップグレードします。テーブルのメタデータキャッシングを有効にします。

Bigtable にデータを保存します。センサー ID とタイムスタンプを連結し、行キーとして使用します。毎日 BigQuery にエクスポートを実行します。

1. アーカイブストレージクラスの Cloud Storage バケットに BigQuery エクスポートを実行します。2. バケットにロックされた保持ポリシーを設定します。3. エクスポートされたファイルに BigQuery 外部テーブルを作成します。

データを Cloud Storage に移動します。Dataproc でジョブを実行します。

マーケティングチームの BigQuery 割り当てを確立し、1日にスキャンされる最大バイト数を制限します。

Dataplex を使用してデータを管理し、データ系列を追跡し、データ品質検証を実行します。

Cloud Data Fusion と Wrangler を使用してデータを正規化し、定期的なジョブを設定します。

サブスクリプションの再試行ポリシーとして指数バックオフを使用し、配信不能を別のトピックに構成し、最大配信試行回数を 10 に設定します。

Analytics Hub プライベートエクスチェンジを作成し、販売データセットを公開します。

Datastream でストリームを作成して、これらのクエリの両方の Cloud SQL データベースから BigQuery に必要なテーブルを複製します。

1. 各部門のアプリケーションのデータストレージ用に複数のプロジェクトを作成します。2. 各部門が Cloud Storage バケットと BigQuery データセットを作成できるようにします。3. Dataplex で、各部門をデータレイクと Cloud Storage バケットにマッピングし、BigQuery データセットをゾーンにマッピングします。4. 各部門がデータレイクのデータを所有および共有できるようにします。

トピックの保持ポリシーを 30 日に設定します。

Dataflow パイプラインを実行するサービスアカウントに compute.networkUser ロールを割り当てます。

Dataflow を使用して、Kafka からデータを読み取り、BigQuery にデータを書き込むパイプラインを作成します。

1. BigLake テーブルを定義します。2. Data Catalog でポリシータグの分類を作成します。3. 列にポリシータグを追加します。4. Spark-BigQuery コネクタまたは BigQuery SQL で処理します。

新しい Cloud KMS 鍵を作成します。新しい鍵をデフォルトの CMEK 鍵として使用するように構成された新しい Cloud Storage バケットを作成します。鍵を指定せずに、古いバケットから新しいバケットにすべてのオブジェクトをコピーします。

1. us-central1 リージョンと us-south1 リージョンにデュアルリージョン Cloud Storage バケットを作成します。2. ターボレプリケーションを有効にします。3. us-central1 リージョンのゾーンで Dataproc クラスタを実行し、同じリージョンのバケットから読み取ります。4. リージョン障害が発生した場合は、Dataproc クラスタを us-south1 リージョンに再デプロイし、同じバケットから読み取ります。