top of page
BLOG一覧
検索
make
1月28日読了時間: 4分
Amazon Redshiftのクエリコンパイル問題に立ち向かう
はじめに 前回、Amazon Redshiftがたまに遅くなる事象について記事にしました。 対策については触れていなかったので今回は検討した案をいくつか書き記したいと思います。 問題点 Redshiftのバージョンアップによってクエリコンパイルが発生し、バージョンアップ後の...
閲覧数:8回0件のコメント
make
2024年7月9日読了時間: 5分
Amazon Redshiftのクエリがなぜかたまに遅くなる原因
はじめに 弊社では、膨大なデータの夜間バッチ処理にRedshiftを採用しています。 適材適所でサービスを選択しており、夜間以外はお役御免で停止しておき、費用面を抑えるよう工夫しています。 メンテナンスウィンドウも設けて運用していて概ね問題なく稼働しています。...
閲覧数:264回0件のコメント

toshiki nishio
2024年5月22日読了時間: 2分
QuickSightでユーザ公開中データセットの参照元テーブルに列を追加する時の手順
はじめに Quicksightでユーザに公開中のデータセットの参照元テーブルに列を追加することがありました。その時の手順についてまとめたいと思います。 列追加する時の考慮事項 更新対象のテーブルはユーザーが参照しているテーブルのため、ダウンタイムなしで項目追加後のテーブルに...
閲覧数:109回0件のコメント

toshiki nishio
2024年2月2日読了時間: 4分
S3上のcsvファイルをデータソースとしてGlue Data catalogを作った時にハマったポイント
はじめに S3ファイルをデータソースとして Glue Data catalogを作った時のハマりポイントを共有します。その前にGlueとはなんぞやといったことから紹介していきます。 Glueとは? 抽出(Extract)、変換(Transform)、ロード(Load)(略称...
閲覧数:1,124回0件のコメント
a k
2023年12月29日読了時間: 2分
Redshiftとソートキー
はじめに Redshiftのソートキーはすっごく重要です。 最速JOINはマージJOIN Group byでもソートキーが使用される WHEREでレコードを絞り込むときにも有効 どの場合もソートキーの項目順をちゃんと合わせてないといけません。特に夜間バッチでよく使われる全件...
閲覧数:253回0件のコメント
bottom of page