はじめに 以前、こちらの記事でQuickSightの昨対を計算する関数をご紹介させていただきました。 その際、注意事項として「昨対の計算を行うため、フィルターの絞り込みは1年未満にしてしまうと計算ができないので注意が必要です。」とご紹介しました。...

始めに みなさん、CloudWatchLogsInsight使っていますか？私は正直、ほとんど使いこなせていません。 やっていることといえば、 filterでエラー文言を引っ掛ける。 期間をカスタムで見たい範囲より少し広めに取る。（ピンポイントすぎると見つからないことあるの...

Powershellのスクリプトで困ったことがあったので、紹介します。 発生した問題 Powershellのスクリプトが開発時は問題なく動作していましたが、検証環境でテストを始めるとエラーとなり実行できなくなりました。 原因...

はじめに Pythonには logging という標準モジュールがあり、ロギングにはこれを利用するのが第一候補ですが、独特な実装になっており正しく使うには慣れが必要です。 Lambdaで使いCloudWatch Logsに書き出す前提で、以下のような挙動を実現したいとします...

はじめに 夜間バッチのデータ更新等では、入力テーブルが０件などのデータの状態によってSQLを継続実行せず、エラー終了したいケースがあります。 出力テーブルが０件で作成されると、後続の参照処理大きな障害を引き起こしかねないケースで、中断することで前日状態を維持したい場合です。...

始めに 以前、「 VerifiedAccessはclientVPNの代わりとなりうるか？ 」という記事の中で、コストを抑える方法を軽く紹介していましたが、今回は具体的にどうやって実現したかを紹介したいと思います。 料金体系...

はじめに S3ファイルをデータソースとして Glue Data catalogを作った時のハマりポイントを共有します。その前にGlueとはなんぞやといったことから紹介していきます。 Glueとは？ 抽出（Extract）、変換（Transform）、ロード（Load）（略称...

はじめに この記事では一つのプロジェクトで複数のLambdaが必要なとき、どのようなプロジェクト構成にしたら良いのかについて提案します。先日の記事でLambda Layerに自作のコードを置かないことを提案しました。複数Lambdaでコードを共有するというのがLambda...

はじめに Athenaのテーブルの多くはパーティション化されています。パーティション化により、データのアクセス範囲が絞られて効率的にクエリが実行できます。 ただし、パーティション化した場合、パーティション設定でパーティションキーとパスを登録しないと指定したパーティションキー...

はじめに QuickSightでは昨対を計算する便利な関数があります。 とても便利な関数ですが、こちらの関数は暦に応じて計算される為、例えば1ヶ月ごとの昨対の数値を計算させる場合、1日〜月末を1ヶ月として計算されます。 しかし、月の締めが1日〜月末ではなく、別の日付（21日...

はじめに Redshiftのソートキーはすっごく重要です。 最速JOINはマージJOIN Group byでもソートキーが使用される WHEREでレコードを絞り込むときにも有効 どの場合もソートキーの項目順をちゃんと合わせてないといけません。特に夜間バッチでよく使われる全件...

AppSyncとは AWS AppSyncは、アプリケーションに簡単にデータのリアルタイム同期やオフラインアクセス機能を提供します。 主にGraphQLを使用してデータの取得や変更を行うことができます。 リゾルバについて...

始めに 2023/10にAWS Verified Accessが東京リージョンで使えるようになり、AWS ClientVPNに置き換わるものか？どういう場面で使うべきか？調査を行う機会があったので、そこで得た知見を共有します。 そもそもどういうサービス？ AWS...

はじめに わたしは、 PowerPointやGoogleスライドを利用した資料作成を行うことが多々あります。 DXを推進する各社様の支援（補助）として取引先へ訪問し、飛び交う議論を可視化したり、自社パッケージの説明用資料を作成しています。...

DynamoDBとは AWSのDynamoDBは柔軟なNoSQLデータベースサービスです。 DynamoDBではキーの設定が重要です。 パーティションキー: 各レコードのユニークな識別子です。DynamoDBはこのキーを使用してデータをパーティションに分散させ、効率的なアク...

2024/07にAWSからCodeCommitの新規顧客の受入停止がアナウンスされました。以下の記事は2023年のものですが、現在CodeCommitを利用している方の参考になれば幸いです。 はじめに あるシステムにおいて、CodeCommitのあるAWSアカウントから別の...

はじめに 開発部の山下です。 Lambdaはそれ自身にデプロイしたコードだけでなく、Lambda layerのコードも利用できます。 1つのLambda layerは複数のLambdaにアタッチできるため、utilモジュールなどを入れておくと便利だと思うかもしれません。...