M.Y
QuickSightとGoogle Big Queryの接続
はじめに お取引先様がGA4を利用しており、そのデータをQuickSightで閲覧できないか検証することがありました。 GA4からGoogle Big Queryにデータをエクスポートしており、QuickSightの機能でGoogle Big...
top of page
BLOG一覧
検索
toshiki nishio
7月23日読了時間: 1分
Quick Sightの分析のクロスアカウントコピー
はじめに 今回のブログではQuick Sightで作成した分析をクロスアカウントコピーするための方法を紹介します。 開発環境で作成した分析を本番環境にコピーしたい時などにこの方法が使えるのではないかと思います。 2024/07/12追記...
閲覧数：57回0件のコメント
toshiki nishio
7月22日読了時間: 2分
クロスアカウントのS3レプリケーション
はじめに あるシステムにおいて、アカウント間でファイルをコピーしたいという要件がありました。 今回の記事ではこれを実現するための方法として、S3の機能であるオブジェクトのレプリケーションを紹介します。 実現したい事 実現したい事としては、以下の２点になります。...
閲覧数：150回0件のコメント
make
7月9日読了時間: 5分
Amazon Redshiftのクエリがなぜかたまに遅くなる原因
始めに 弊社では、膨大なデータの夜間バッチ処理にRedshiftを採用しています。 適材適所でサービスを選択しており、夜間以外はお役御免で停止しておき、費用面を抑えるよう工夫しています。 メンテナンスウィンドウも設けて運用していて概ね問題なく稼働しています。...
閲覧数：174回0件のコメント
M.Y
6月28日読了時間: 3分
QuickSightの計算評価順序について
はじめに 以前「QuickSight periodOverPeriodLastValueで表示したい期間でフィルターをする方法」をご紹介しました。 データはそのままでビジュアルだけをフィルターをする方法について、なぜこのような動きになるのか？について詳しくご紹介したいと思い...
閲覧数：178回0件のコメント
mon
6月19日読了時間: 6分
QuickSightアセットのクロスアカウントでのデプロイ（CloudFormation版）
以前の記事ではシンプルに分析をコピーする方法が紹介されています。 この記事ではdevelop環境でQuickSightのアセット（データセット・分析・ダッシュボードなど）をproduction環境にCloudFormationでデプロイする方法を紹介します。 実現したいこと...
閲覧数：145回0件のコメント
toshiki nishio
5月22日読了時間: 2分
QuickSightでユーザ公開中データセットの参照元テーブルに列を追加する時の手順
はじめに Quicksightでユーザに公開中のデータセットの参照元テーブルに列を追加することがありました。その時の手順についてまとめたいと思います。 列追加する時の考慮事項 更新対象のテーブルはユーザーが参照しているテーブルのため、ダウンタイムなしで項目追加後のテーブルに...
閲覧数：76回0件のコメント
mon
5月22日読了時間: 6分
Amazon CognitoからAmazon SESを使ってメールを送信する
はじめに Amazon Cognito user poolsではユーザー登録時の招待メールやパスワードリセット時など、いくつかのタイミングでユーザーに対してメールを発出します。 このメールの送信機能は「Cognitoのデフォルト機能による送信」と「Amazon...
閲覧数：1,151回0件のコメント
mon
5月2日読了時間: 4分
QuickSight のカスタムビジュアルコンテンツをある程度保護する
あるシステム開発で、どうしてもQuickSightの標準のビジュアルでは実現できない要件がありカスタムビジュアルコンテンツで実現することになりました。 カスタムビジュアルコンテンツは簡単に言うと、QuickSight分析の中に別のWebページを埋め込むものです。...
閲覧数：63回0件のコメント
mon
5月2日読了時間: 7分
別アカウントのCodeCommitの変更でCodePipelineからデプロイする
めちゃめちゃ期間をあけてしまいましたが前回の続きです。 前回のあらすじ リポジトリアカウント : CodeCommitのRepositoryがある方のアカウント パイプラインアカウント : CodePipelineがある方のアカウント...
閲覧数：159回0件のコメント
a k
4月23日読了時間: 6分
データ状態により異なるSQLを実行させたい
はじめに 近頃担当する業務は夜間バッチでのデータ更新処理が多く、特にDWH的にテーブル再構築（TRUNCATE/INSERT）のパターンを多く使用しています。 その中でSQLで処理を組み上げる時、エラー処理などで条件分岐で異なるSQLを実行したくなる事は珍しくありません。...
閲覧数：65回0件のコメント
make
4月19日読了時間: 4分
内部向けの静的ウェブサイトをS3＋ALBで実現する
始めに AWSの鉄板構成の一つにAmazon S3ウェブサイトホスティング機能を使用してEC2などのサーバーを立てずに静的ウェブサイトを構築する方法があります。 通常はS3の前段にCDNサービスであるCloudFrontを設置して コンテンツキャッシュを効かせる...
閲覧数：436回0件のコメント
Naoya Yamashita
4月8日読了時間: 2分
Image Builderで再現性のあるAMI作成を実現する
EC2を使ったWebアプリケーションの構成として以下のような構成があります。 https://d1.awsstatic.com/events/jp/2020/innovate/pdf/S-9_AWSInnovate_Online_Conference_2020_Spring...
閲覧数：18回0件のコメント
M.Y
3月13日読了時間: 3分
QuickSight periodOverPeriodLastValueで表示したい期間でフィルターをする方法
はじめに 以前、こちらの記事でQuickSightの昨対を計算する関数をご紹介させていただきました。 その際、注意事項として「昨対の計算を行うため、フィルターの絞り込みは1年未満にしてしまうと計算ができないので注意が必要です。」とご紹介しました。...
閲覧数：107回0件のコメント
make
3月6日読了時間: 3分
ログ検索を使い倒そう
始めに みなさん、CloudWatchLogsInsight使っていますか？私は正直、ほとんど使いこなせていません。 やっていることといえば、 filterでエラー文言を引っ掛ける。 期間をカスタムで見たい範囲より少し広めに取る。（ピンポイントすぎると見つからないことあるの...
閲覧数：50回0件のコメント
kita56
3月4日読了時間: 3分
Powershellの実行ポリシー
Powershellのスクリプトで困ったことがあったので、紹介します。 発生した問題 Powershellのスクリプトが開発時は問題なく動作していましたが、検証環境でテストを始めるとエラーとなり実行できなくなりました。 原因...
閲覧数：590回0件のコメント
Naoya Yamashita
3月4日読了時間: 4分
Lambdaのロギング方法
はじめに Pythonには logging という標準モジュールがあり、ロギングにはこれを利用するのが第一候補ですが、独特な実装になっており正しく使うには慣れが必要です。 Lambdaで使いCloudWatch Logsに書き出す前提で、以下のような挙動を実現したいとします...
閲覧数：203回0件のコメント
a k
2月23日読了時間: 2分
データ状態によりSQLを異常終了させたい
はじめに 夜間バッチのデータ更新等では、入力テーブルが０件などのデータの状態によってSQLを継続実行せず、エラー終了したいケースがあります。 出力テーブルが０件で作成されると、後続の参照処理大きな障害を引き起こしかねないケースで、中断することで前日状態を維持したい場合です。...
閲覧数：244回0件のコメント
make
2月9日読了時間: 4分
ClientVPNのコスト最適化
始めに 以前、「 VerifiedAccessはclientVPNの代わりとなりうるか？ 」という記事の中で、コストを抑える方法を軽く紹介していましたが、今回は具体的にどうやって実現したかを紹介したいと思います。 料金体系...
閲覧数：115回0件のコメント
toshiki nishio
2月2日読了時間: 4分
S3上のcsvファイルをデータソースとしてGlue Data catalogを作った時にハマったポイント
はじめに S3ファイルをデータソースとして Glue Data catalogを作った時のハマりポイントを共有します。その前にGlueとはなんぞやといったことから紹介していきます。 Glueとは？ 抽出（Extract）、変換（Transform）、ロード（Load）（略称...
閲覧数：962回0件のコメント
bottom of page