はじめに AWS Glueには、ジョブのタイプとして独自に作ったPythonスクリプトを実行できるPython Shell Jobというものがあります。 AWS Glueといえば、サービス概要からPySparkやScalaによるサーバレスなETL基盤提供やデータカタログをG...

目次 Step Functions とは？ パラメータ とは？ パラメータの例 パラメータをうまく活用するには 最後に AWS Step Functionsとは？ AWS Step Functionsは、 状態遷移を定義するステートマシン型のオーケストレーションサービス...

Amazon QuickSight では、ダッシュボードを外部のWebページやアプリケーションに埋め込む機能が提供されています。 本記事では、埋め込み方式の比較と、実際に「認証付き埋め込み」を用いた検証手順を紹介します。（実装は次の記事）...

はじめまして！ Liptonです 　こんにちは、今年の4月にOPTARCに入社しました、Liptonです。横浜生まれの横浜育ちの都会っ子ですが、現在は広島で一人暮らしをしています。前職では小売業の会社のシステムエンジニアとして働いており、主にAWS上でのアーキテクチャ構築や...

Python および .NET 関数向けの AWS Lambda SnapStart の一般提供を開始 https://aws.amazon.com/jp/blogs/news/aws-lambda-snapstart-for-python-and-net-function...

はじめに 前回、Amazon Redshiftがたまに遅くなる事象について記事にしました。 対策については触れていなかったので今回は検討した案をいくつか書き記したいと思います。 問題点 Redshiftのバージョンアップによってクエリコンパイルが発生し、バージョンアップ後の...

はじめに 今回のブログではQuicksightでデータを分析するために、階層データの持ち方を工夫した話を紹介します。 まず、はじめにQuicksightでどのようなダッシュボードを作りたいかをイメージとして載せます。 この図のように階層がありそれぞれの階層を上部のコントロー...

はじめに お取引先様がGA4を利用しており、そのデータをQuickSightで閲覧できないか検証することがありました。 GA4からGoogle Big Queryにデータをエクスポートしており、QuickSightの機能でGoogle Big...

はじめに 今回のブログではQuick Sightで作成した分析をクロスアカウントコピーするための方法を紹介します。 開発環境で作成した分析を本番環境にコピーしたい時などにこの方法が使えるのではないかと思います。 2024/07/12追記...

はじめに あるシステムにおいて、アカウント間でファイルをコピーしたいという要件がありました。 今回の記事ではこれを実現するための方法として、S3の機能であるオブジェクトのレプリケーションを紹介します。 実現したい事 実現したい事としては、以下の２点になります。...

はじめに 弊社では、膨大なデータの夜間バッチ処理にRedshiftを採用しています。 適材適所でサービスを選択しており、夜間以外はお役御免で停止しておき、費用面を抑えるよう工夫しています。 メンテナンスウィンドウも設けて運用していて概ね問題なく稼働しています。...

はじめに 以前「QuickSight periodOverPeriodLastValueで表示したい期間でフィルターをする方法」をご紹介しました。 データはそのままでビジュアルだけをフィルターをする方法について、なぜこのような動きになるのか？について詳しくご紹介したいと思い...

以前の 記事 ではシンプルに分析をコピーする方法が紹介されています。 この記事ではdevelop環境でQuickSightのアセット（データセット・分析・ダッシュボードなど）をproduction環境にCloudFormationでデプロイする方法を紹介します。...

はじめに Quicksightでユーザに公開中のデータセットの参照元テーブルに列を追加することがありました。その時の手順についてまとめたいと思います。 列追加する時の考慮事項 更新対象のテーブルはユーザーが参照しているテーブルのため、ダウンタイムなしで項目追加後のテーブルに...

はじめに Amazon Cognito user poolsではユーザー登録時の招待メールやパスワードリセット時など、いくつかのタイミングでユーザーに対してメールを発出します。 このメールの送信機能は「Cognitoのデフォルト機能による送信」と「Amazon...

あるシステム開発で、どうしてもQuickSightの標準のビジュアルでは実現できない要件がありカスタムビジュアルコンテンツで実現することになりました。 カスタムビジュアルコンテンツは簡単に言うと、QuickSight分析の中に別のWebページを埋め込むものです。...

2024/07にAWSからCodeCommitの新規顧客の受入停止がアナウンスされました。以下の記事は2023年のものですが、現在CodeCommitを利用している方の参考になれば幸いです。 めちゃめちゃ期間をあけてしまいましたが 前回 の続きです。 前回のあらすじ ...

はじめに 近頃担当する業務は夜間バッチでのデータ更新処理が多く、特にDWH的にテーブル再構築（TRUNCATE/INSERT）のパターンを多く使用しています。 その中でSQLで処理を組み上げる時、エラー処理などで条件分岐で異なるSQLを実行したくなる事は珍しくありません。...

始めに AWSの鉄板構成の一つにAmazon S3ウェブサイトホスティング機能を使用してEC2などのサーバーを立てずに静的ウェブサイトを構築する方法があります。 通常はS3の前段にCDNサービスであるCloudFrontを設置して コンテンツキャッシュを効かせる...

EC2を使ったWebアプリケーションの構成として以下のような構成があります。 https://d1.awsstatic.com/events/jp/2020/innovate/pdf/S-9_AWSInnovate_Online_Conference_2020_Spring...