Skip to main content

ワークフローの合理化：Snowflake アラートを Slack に送信する

Snowflake

Snowflake と Slack の連携でデータエンジニアの仕事がはかどる！ Snowflake と Slack を連携させると、データエンジニアの業務効率が大幅に向上します。
その理由を見ていきましょう。

  • リアルタイムなエラー検知とデバッグ: これまでのようにログを常に監視しなくても、Snowflake でエラーが発生した場合に Slack チャンネルに自動通知を送信するように設定できます。これは、コードのエラーを監視し、すぐに知らせてくれる専任のアシスタントがいるようなものです。迅速な問題解決が可能になります。これは、Webhook を使用することで実現します。Webhook とは、イベントをトリガーとして Snowflake から Slack に送信される自動 HTTP リクエストです。

  • チーム全体の情報共有: Slack 連携により、データパイプラインなどの処理状況をチーム全体に共有することもできます。パイプラインが完了、失敗、または問題が発生した場合に、共有チャンネルに通知を送信するように Snowflake を設定できます。これにより、全員が状況を把握できるようになり、不要な進捗確認会議を減らすことができます。 この連携により、Slack がデータワークフロー管理の強力なハブとなり、データエンジニアの業務をよりシンプルかつ生産的にします。

SnowflakeとSlackを統合する方法

Snowflake の NOTIFICATION INTEGRATION と言う機能と Slack の Webhook を利用し Snowflake から Slack にメッセージを送る事が出来ます。
同じ方法を使って、Snowflake から Microsoft Teams と PagerDuty にもメッセージを送るのは可能です。

Slack の使う方の概要が必要なら、この動画を見てください。

Webhook は http リクエストです。これは API 呼び出しで、リバース API または Push API と呼ばれることもあります。Webhook の特徴は、何らかのイベントが発生したときにクライアントがサーバーにコールバック (http リクエストを送信) するように指示することです。
この場合、クライアントである Slack アプリは、何らかのイベントが発生したときに Snowflake にコール (URL エンドポイントに http リクエストを送信) するように指示します。

これは、プロセスをどちらの側から見るかという視点に関するものです。
Snowflake 側から見ると、これは通常の API 呼び出しであり、Slack への投稿リクエストを行います。
しかし、Slack 側から見ると、これは Webhook (リバース API 呼び出し) であり、特定のエンドポイントでイベントが発生したときに Snowflake にコールバックするように要求します。

ステップ

Slack 上で必要なステップ

  • テストの為にチャネルを作る
  • Slack でアプリを作る
  • 作ったアプリをチャネルに導入
  • アプリの webhook URL を取る

  1. テストの為にチャネルを作る

    1. Slack にロギンし、左側の sidebar から「Add channels」ボタンを押し

      add channel

    2. チャネル名を入力

      enter channel name

    3. チャンネルの公開範囲は公開か非公開か決める

      channel visibility

    4. 「Create」ボタンを押し

  2. Slack でアプリを作る

    1. アプリを作成するページを開く

    2. Create App ボタンを押し

      Create app image

    3. From Scratch オプションを選択

      From Scrach

    4. アプリ名を入力し Workspace を選択

      Enter Aoo name and choose workspace

    5. Create App ボタンを押し

  3. Slack アプリをチャネルに導入

    1. アプリの設定ページの左側にある「Incoming webhooks」を押し

      incoming webhooks

      作ったアプリのページを見つけれないなら、アプリ dashbord に行ってください。

      リンク： Slack app dashboard

    2. 「Activate Incoming Webhook」をトグルしてください。

      Activate incoming webhook

    3. 一番下にある[Add New Webhook to Workspace]ボタンを押してください

      Add New Webhook to Workspace

    4. 導入したいチャネルを選択し、「Allow」ボタンを押してください

      select channel


      アプリをチャネルに導入した後に、チャネルに確認のメッセージが来る

      app_integrated

  4. アプリの webhook URL を取る

    アプリをチャネルに導入/繋ぐ後に、アプリの設定ページに戻ってきます。
    アプリの設定ページの Incoming Webhooks セクションの下に
    作成された「Webhook Url」をコピーしてください。

    Copy Webhook Url

    Note: 各チャネルは自分の特別な Webhook Url があります。
    と言うのは、テストの後に、アプリを本当のチャネルに導入したら、そのチャネルの Webhook Url を使うべきです。

Snowflake 上で必要なステップ

  1. Webhook のトケンを Secret として保存

    必要な権限：

    • secret を create
    • secret を read
    • secret を use

    Slack の Webhook Url はこのような形です： https://hooks.slack.com/services/T00000000/B00000000/XXXXXXXXXXXXXXXXXXXXXXXX。
    https://hooks.slack.com/services/の後の部分を Snowflake で secret として保存します。


    CREATE OR REPLACE SECRET my_slack_webhook_secret
TYPE = GENERIC_STRING
SECRET_STRING = 'T00000000/B00000000/XXXXXXXXXXXXXXXXXXXXXXXX';

    create secret


  2. NOTIFICATION INTEGRATION を作成

    必要な権限：

    • CREATE INTEGRATION
    • USAGE On INTEGRATION

    CREATE OR REPLACE NOTIFICATION INTEGRATION my_slack_webhook_int
TYPE=WEBHOOK
ENABLED=TRUE
WEBHOOK_URL='https://hooks.slack.com/services/SNOWFLAKE_WEBHOOK_SECRET'
WEBHOOK_SECRET=my_secrets_db.my_secrets_schema.my_slack_webhook_secret
WEBHOOK_BODY_TEMPLATE='{"text": "SNOWFLAKE_WEBHOOK_MESSAGE"}'
WEBHOOK_HEADERS=('Content-Type'='application/json');

    SNOWFLAKE_WEBHOOK_SECRETとSNOWFLAKE_WEBHOOK_MESSAGEは secret とメッセージのプレースホルダーです。


  3. NOTIFICATION INTEGRATION を使う（呼ぶ）

    CALL SYSTEM$SEND_SNOWFLAKE_NOTIFICATION(
    SNOWFLAKE.NOTIFICATION.TEXT_PLAIN(
        SNOWFLAKE.NOTIFICATION.SANITIZE_WEBHOOK_CONTENT('my message')
    ),
    SNOWFLAKE.NOTIFICATION.INTEGRATION('my_slack_webhook_int')
);

    SNOWFLAKE.NOTIFICATION.SANITIZE_WEBHOOK_CONTENT関数は送信される通知メッセージの本文からプレースホルダー (たとえば、シークレットを指定する SNOWFLAKE_WEBHOOK_SECRET プレースホルダー) を削除します。
    この関数が使用されず、メッセージ本文にシークレットのプレースホルダーが含まれている場合、メッセージが Slack Webhook に送信されると、シークレットを含むメッセージが Slack チャネルに投稿される可能性があります。

    残りの関数は、NOTIFICATION INTEGRATION を使用してメッセージを送信するために使用される設定関数です。

結果

final_result


もし上のように 4 つの Stored Procedure と関数を使って NOTIFICATION INTEGRATION を呼ぶ事をもっと簡単にしたいなら、wrapper Stored Procedure を作成出来ます。

例：

CREATE OR REPLACE PROCEDURE post_on_slack(message)
RETURNS FLOAT
LANGUAGE SQL
AS
BEGIN
    CALL SYSTEM$SEND_SNOWFLAKE_NOTIFICATION(
        SNOWFLAKE.NOTIFICATION.TEXT_PLAIN(
            SNOWFLAKE.NOTIFICATION.SANITIZE_WEBHOOK_CONTENT(message)
        ),
        SNOWFLAKE.NOTIFICATION.INTEGRATION('my_slack_webhook_int')
    );
END;

Call post_on_slack('Hello Slack!')

役に立つリンク

Labels:

Comments

Post a Comment

Popular posts from this blog

脱初心者！ Git ワークフローを理解して開発効率アップ

Git – チーム開発に必須のバージョン管理システムですが、その真価を発揮するにはワークフローの理解が欠かせません。 色々な人は Git の使い方を良く知っていますが、Git を仕事やワークフローに統合する方法を余り良く知らない人もいます。本記事では、Git をワークフローに組み込むことで、開発プロセスがどのように効率化され、チーム全体のパフォーマンスが向上するのかを解説します。Centralized Workflow から Forking Workflow まで、代表的な 9 つのワークフローの特徴を分かりやすく紹介します。それぞれのメリット・デメリット、そして最適なユースケースを理解することで、あなたのプロジェクトに最適なワークフローを選択し、開発をスムーズに進めましょう！ Centralized Workflow Feature branching/GitHub Flow Trunk Based Flow Git Feature Flow Git Flow Enhanced Git Flow One Flow GitLab Flow Forking Workflow 分かりやすくするために、同じコンセプトを説明するに一つ以上の図を使った場合があります。 Centralized Workflow 説明： 集中化ワークフローではプロジェクトにおけるすべての変更の単一の入力箇所として中央リポジトリを使用します。デフォルトの開発用ブランチは main と呼ばれ、すべての変更がこのブランチにコミットされます。 集中化ワークフローでは main 以外のブランチは不要です。チームメンバー全員がひとつのブランチで作業し、変更を直接中央リポジトリにプッシュします。 メリット： SVN のような集中型バージョン管理システムから移行する小規模チームに最適。 デメリット： お互いのコードが邪魔になり (お互いの変更を上書きするように)、プロダクション環境にバグをい入れる可能性が高くて、複数のメンバいるチームでこのフローを使いにくい。 地図： graph TD; A[Central Repository] -->|Clone| B1[Developer A's Local Repo] A --...
Post a Comment
Read more

From Generic to Genius: Fine-tuning LLMs for Superior Accuracy in Snowflake

TL;DR: Cortex Fine-tuning is a fully managed service that lets you fine-tune popular LLMs using your data, all within Snowflake. While large language models (LLMs) are revolutionizing various fields, their "out-of-the-box" capabilities might not always align perfectly with your specific needs. This is where the power of fine-tuning comes into play. As it will be explained in this article, this feature empowers you to take a base LLM and customize it to excel in your particular domain. Here's the brief summary of why you might want to leverage Snowflake's fine-tuning capabilities: Unlocking Domain Expertise : Pre-trained LLMs are trained on massive, general datasets. Fine-tuning allows you to build upon this foundation and train the LLM further using data specific to your field, such as legal documents, medical records, or financial data. This empowers the LLM to understand complex terminology and patterns unique to your domain, leading to more accurate a...
Post a Comment
Read more

How Wendy’s Successfully Penetrated the Japanese Market After Long Struggles

Wendy’s had long struggled to penetrate the Japanese market. Initially the Daiei Group tried to bring Wendy’s to Japan but failed. The next owner of Wendy’s’ Japanese franchise, Zensho Holdings Co. also failed miserably. However, Japanese-American entrepreneur Ernest M. Higa seems to have managed to do the task. This article will discuss the challenges Wendy’s faced when entering the Japanese market, how Ernie Higa addressed those challenges, macro environmental factors that impacted the success of the brand in Japan, future threats the Japanese fast food market is facing , and potential solutions. The prior challenges that Wendy’s faced when they entered the Japanese market There is no one-size-fits-all formula in business, especially when Japan is involved in the conversation. According to Japanese-American entrepreneur Ernie Higa, even if a company has a good product and good pricing, penetrating the Japanese market is more difficult compared to the US’s market. Foreign e...
Post a Comment
Read more