はじめに 夜間バッチのデータ更新等では、入力テーブルが０件などのデータの状態によってSQLを継続実行せず、エラー終了したいケースがあります。 出力テーブルが０件で作成されると、後続の参照処理大きな障害を引き起こしかねないケースで、中断することで前日状態を維持したい場合です。...

始めに 以前、「 VerifiedAccessはclientVPNの代わりとなりうるか？ 」という記事の中で、コストを抑える方法を軽く紹介していましたが、今回は具体的にどうやって実現したかを紹介したいと思います。 料金体系...

はじめに S3ファイルをデータソースとして Glue Data catalogを作った時のハマりポイントを共有します。その前にGlueとはなんぞやといったことから紹介していきます。 Glueとは？ 抽出（Extract）、変換（Transform）、ロード（Load）（略称...

はじめに この記事では一つのプロジェクトで複数のLambdaが必要なとき、どのようなプロジェクト構成にしたら良いのかについて提案します。先日の記事でLambda Layerに自作のコードを置かないことを提案しました。複数Lambdaでコードを共有するというのがLambda...

はじめに Athenaのテーブルの多くはパーティション化されています。パーティション化により、データのアクセス範囲が絞られて効率的にクエリが実行できます。 ただし、パーティション化した場合、パーティション設定でパーティションキーとパスを登録しないと指定したパーティションキー...

はじめに QuickSightでは昨対を計算する便利な関数があります。 とても便利な関数ですが、こちらの関数は暦に応じて計算される為、例えば1ヶ月ごとの昨対の数値を計算させる場合、1日〜月末を1ヶ月として計算されます。 しかし、月の締めが1日〜月末ではなく、別の日付（21日...

はじめに Redshiftのソートキーはすっごく重要です。 最速JOINはマージJOIN Group byでもソートキーが使用される WHEREでレコードを絞り込むときにも有効 どの場合もソートキーの項目順をちゃんと合わせてないといけません。特に夜間バッチでよく使われる全件...

AppSyncとは AWS AppSyncは、アプリケーションに簡単にデータのリアルタイム同期やオフラインアクセス機能を提供します。 主にGraphQLを使用してデータの取得や変更を行うことができます。 リゾルバについて...

始めに 2023/10にAWS Verified Accessが東京リージョンで使えるようになり、AWS ClientVPNに置き換わるものか？どういう場面で使うべきか？調査を行う機会があったので、そこで得た知見を共有します。 そもそもどういうサービス？ AWS...

はじめに わたしは、 PowerPointやGoogleスライドを利用した資料作成を行うことが多々あります。 DXを推進する各社様の支援（補助）として取引先へ訪問し、飛び交う議論を可視化したり、自社パッケージの説明用資料を作成しています。...

DynamoDBとは AWSのDynamoDBは柔軟なNoSQLデータベースサービスです。 DynamoDBではキーの設定が重要です。 パーティションキー: 各レコードのユニークな識別子です。DynamoDBはこのキーを使用してデータをパーティションに分散させ、効率的なアク...

はじめに あるシステムにおいて、CodeCommitのあるAWSアカウントから別のアカウントのCodePipelineを起動したいという要件がありました。 別のアカウントのリポジトリを参照してCodePipelineを起動するには、主に「別アカウントのリポジトリの変更を検知...

はじめに 開発部の山下です。 Lambdaはそれ自身にデプロイしたコードだけでなく、Lambda layerのコードも利用できます。 1つのLambda layerは複数のLambdaにアタッチできるため、utilモジュールなどを入れておくと便利だと思うかもしれません。...