Python および .NET 関数向けの AWS Lambda SnapStart の一般提供を開始 https://aws.amazon.com/jp/blogs/news/aws-lambda-snapstart-for-python-and-net-function...

はじめに 前回、Amazon Redshiftがたまに遅くなる事象について記事にしました。 対策については触れていなかったので今回は検討した案をいくつか書き記したいと思います。 問題点 Redshiftのバージョンアップによってクエリコンパイルが発生し、バージョンアップ後の...

はじめに 今回のブログではQuicksightでデータを分析するために、階層データの持ち方を工夫した話を紹介します。 まず、はじめにQuicksightでどのようなダッシュボードを作りたいかをイメージとして載せます。 この図のように階層がありそれぞれの階層を上部のコントロー...

はじめに お取引先様がGA4を利用しており、そのデータをQuickSightで閲覧できないか検証することがありました。 GA4からGoogle Big Queryにデータをエクスポートしており、QuickSightの機能でGoogle Big...

はじめに 今回のブログではQuick Sightで作成した分析をクロスアカウントコピーするための方法を紹介します。 開発環境で作成した分析を本番環境にコピーしたい時などにこの方法が使えるのではないかと思います。 2024/07/12追記...

はじめに あるシステムにおいて、アカウント間でファイルをコピーしたいという要件がありました。 今回の記事ではこれを実現するための方法として、S3の機能であるオブジェクトのレプリケーションを紹介します。 実現したい事 実現したい事としては、以下の２点になります。...

はじめに 弊社では、膨大なデータの夜間バッチ処理にRedshiftを採用しています。 適材適所でサービスを選択しており、夜間以外はお役御免で停止しておき、費用面を抑えるよう工夫しています。 メンテナンスウィンドウも設けて運用していて概ね問題なく稼働しています。...

はじめに 以前「QuickSight periodOverPeriodLastValueで表示したい期間でフィルターをする方法」をご紹介しました。 データはそのままでビジュアルだけをフィルターをする方法について、なぜこのような動きになるのか？について詳しくご紹介したいと思い...

以前の記事ではシンプルに分析をコピーする方法が紹介されています。 この記事ではdevelop環境でQuickSightのアセット（データセット・分析・ダッシュボードなど）をproduction環境にCloudFormationでデプロイする方法を紹介します。 実現したいこと...

はじめに Quicksightでユーザに公開中のデータセットの参照元テーブルに列を追加することがありました。その時の手順についてまとめたいと思います。 列追加する時の考慮事項 更新対象のテーブルはユーザーが参照しているテーブルのため、ダウンタイムなしで項目追加後のテーブルに...

はじめに Amazon Cognito user poolsではユーザー登録時の招待メールやパスワードリセット時など、いくつかのタイミングでユーザーに対してメールを発出します。 このメールの送信機能は「Cognitoのデフォルト機能による送信」と「Amazon...

あるシステム開発で、どうしてもQuickSightの標準のビジュアルでは実現できない要件がありカスタムビジュアルコンテンツで実現することになりました。 カスタムビジュアルコンテンツは簡単に言うと、QuickSight分析の中に別のWebページを埋め込むものです。...

めちゃめちゃ期間をあけてしまいましたが前回の続きです。 前回のあらすじ リポジトリアカウント : CodeCommitのRepositoryがある方のアカウント パイプラインアカウント : CodePipelineがある方のアカウント...

はじめに 近頃担当する業務は夜間バッチでのデータ更新処理が多く、特にDWH的にテーブル再構築（TRUNCATE/INSERT）のパターンを多く使用しています。 その中でSQLで処理を組み上げる時、エラー処理などで条件分岐で異なるSQLを実行したくなる事は珍しくありません。...

始めに AWSの鉄板構成の一つにAmazon S3ウェブサイトホスティング機能を使用してEC2などのサーバーを立てずに静的ウェブサイトを構築する方法があります。 通常はS3の前段にCDNサービスであるCloudFrontを設置して コンテンツキャッシュを効かせる...

EC2を使ったWebアプリケーションの構成として以下のような構成があります。 https://d1.awsstatic.com/events/jp/2020/innovate/pdf/S-9_AWSInnovate_Online_Conference_2020_Spring...

はじめに 以前、こちらの記事でQuickSightの昨対を計算する関数をご紹介させていただきました。 その際、注意事項として「昨対の計算を行うため、フィルターの絞り込みは1年未満にしてしまうと計算ができないので注意が必要です。」とご紹介しました。...

始めに みなさん、CloudWatchLogsInsight使っていますか？私は正直、ほとんど使いこなせていません。 やっていることといえば、 filterでエラー文言を引っ掛ける。 期間をカスタムで見たい範囲より少し広めに取る。（ピンポイントすぎると見つからないことあるの...

Powershellのスクリプトで困ったことがあったので、紹介します。 発生した問題 Powershellのスクリプトが開発時は問題なく動作していましたが、検証環境でテストを始めるとエラーとなり実行できなくなりました。 原因...

はじめに Pythonには logging という標準モジュールがあり、ロギングにはこれを利用するのが第一候補ですが、独特な実装になっており正しく使うには慣れが必要です。 Lambdaで使いCloudWatch Logsに書き出す前提で、以下のような挙動を実現したいとします...