Skip to main content

Snowflake Data Cloud Summit 2024 Summary

snow_summit

2024 念６月の３~６日 San Francisco でSnowflake Data Cloud Summit 2024が行おいました。主なトピックは AI と Polaris Catalog で、スターゲストが NVidia の CEO Jensen Huangでした。
この記事がその Data Cloud Summit をサマライズします。

AI

Snowflake Arctic

  • Arctic AI は Snowflake が自分で開発した AI モデルです
  • Open Source です
  • Snowflake によると Meta の Llama3 8B AI モデルよりもっと良いです

リンク

Universal Searchを使用すると、アカウント内のデータベース オブジェクト、Snowflake Marketplace で利用可能なデータ製品、関連する Snowflake ドキュメントのトピック、関連する Snowflake コミュニティ ナレッジ ベースの記事をすばやく簡単に見つけることが出来ます。

Universal Search は、クエリとデータベース オブジェクトに関する情報を理解し、検索語とは異なる名前のオブジェクトを見つけることができる。スペルを間違えたり、検索語の一部だけを入力したりした場合でも、役立つ結果が表示されます。

テーブルの列名によっても、Universal Search は結果を検索出来ます。列名、テーブルの行に書いたおりデータじゃないです。

Document AI

PDF, 絵、ビデオ、audio ファイルからデータを抽出出来る AI を Snowflake で使うようになりました。
リンク

Snowflake Copilot

  • SQl コードを書くに助けるAI アシスタントです
  • 普通の言葉を SQL コードに変わります: text-to-SQL

ML Functions

  • Snowflake でデータを予測する、異常検出、Classification (グルーップング)等を出来るＭＬ関数(モデル)が発表しました
  • この ML 関数を直接に使えない、この ML 関数を使って、自分の AI モデルを開発し、そして、開発した AI モデルを使えます。
    リンク

NVIDIA AI

  • AI を開発する為に使う NVIDIA NeMo Retriever と NVIDIA Triton Inference Server を Snowflake で使うようになりました
  • NeMo Retriever はチャットボット アプリケーションのパフォーマンスとスケーラビリティを向上します

Polaris Catalog

Snowflake で Apache Iceberg を使えるようになりました

  • Polaris Catalogは Apache Iceberg を利用出来るサービスです
  • Polaris Catalog は Open Source です
    データは Apache Iceberg に保存され、Polaris Catalog で Apache Iceberg に保存されているデータをクエリー、データを入力する等の事をします。
  • Apache Iceberg は Open Sourceので、Apache Iceberg に保存されているデータを Snowflake じゃなくて、他のサービスでも使えます
  • Apache Iceberg はテーブルのフォーマット(データが保存される方法とフォーマット)。
    テーブル・フォーマットの機能は、テーブルを構成するすべてのファイルをどのように管理、整理、追跡するかを決定することであります。
  • 元に Apache Hive に代わりに、Netflix が Iceberg を開発し、今は Apache Foundation が運用しています。
  • メリットは早くて、 効率的で信頼できます
  • 凄く大きなテーブルをサポート出来ます
  • SQL 言語を使えます
  • テーブルを（列を消す、列を追加する等）修正出来ます
  • データのバージョン管理: Apache Iceberg はデータのバージョン管理をサポートしており、ユーザーは時間経過に伴うデータの変更を追跡できる。これによりタイムトラベル機能が有効になり、ユーザーはデータの履歴バージョンにアクセスしてクエリを実行し、更新と削除の間のデータの変更を分析できます。
  • 似ているフォーマットのDelta Lake よりも Apachi Hudi よりも早いです
  • 今月(末)に Snowflake で Preview 出来ます
  • Microsoft Fabricも同じデータをアクセス出来、データをコピーする必要がないです

その他のアップデート

Snowflake Notebooks

  • Snowflake が Notebooks をサポートするようになりました
  • 同じページに SQL、Python と Markdown を書けます
  • Notebook で Streamlit も使えます

Snowflake Data Clean Rooms

  • データを権限管理を利用しながら、安全的に共有出来ます
  • Snowflake Data Clean Rooms に中で PII を消されり、データが匿名化されたデータになます
  • (Raw)詳細なデータを見なず、他の会社/相手のデータを分析出来る: Join, Group By, Count, Min, Max 等のクエリー

Coda で Snowflake のデータを使えるようになりました

Coda は Notion ようなウェブアプリケーションで、Coda でドクメントを作成することが出来、他の Gmail, Slack ようなアプリを導入し、Coda から使える事が出来ます。

CREATE OR ALTER TABLE and CREATE OR ALTER TASK

CREATE OR REPLACEような、CREATE OR ALTERコマンドがサポートされています (プレビュー)
もし、テーブルがあったら修正される、なかったら作成されます

Labels:

Comments

Post a Comment

Popular posts from this blog

脱初心者！ Git ワークフローを理解して開発効率アップ

Git – チーム開発に必須のバージョン管理システムですが、その真価を発揮するにはワークフローの理解が欠かせません。 色々な人は Git の使い方を良く知っていますが、Git を仕事やワークフローに統合する方法を余り良く知らない人もいます。本記事では、Git をワークフローに組み込むことで、開発プロセスがどのように効率化され、チーム全体のパフォーマンスが向上するのかを解説します。Centralized Workflow から Forking Workflow まで、代表的な 9 つのワークフローの特徴を分かりやすく紹介します。それぞれのメリット・デメリット、そして最適なユースケースを理解することで、あなたのプロジェクトに最適なワークフローを選択し、開発をスムーズに進めましょう！ Centralized Workflow Feature branching/GitHub Flow Trunk Based Flow Git Feature Flow Git Flow Enhanced Git Flow One Flow GitLab Flow Forking Workflow 分かりやすくするために、同じコンセプトを説明するに一つ以上の図を使った場合があります。 Centralized Workflow 説明： 集中化ワークフローではプロジェクトにおけるすべての変更の単一の入力箇所として中央リポジトリを使用します。デフォルトの開発用ブランチは main と呼ばれ、すべての変更がこのブランチにコミットされます。 集中化ワークフローでは main 以外のブランチは不要です。チームメンバー全員がひとつのブランチで作業し、変更を直接中央リポジトリにプッシュします。 メリット： SVN のような集中型バージョン管理システムから移行する小規模チームに最適。 デメリット： お互いのコードが邪魔になり (お互いの変更を上書きするように)、プロダクション環境にバグをい入れる可能性が高くて、複数のメンバいるチームでこのフローを使いにくい。 地図： graph TD; A[Central Repository] -->|Clone| B1[Developer A's Local Repo] A --...
Post a Comment
Read more

Introduction to SQLFluff: How to make your SQL code clean and error-free

Image by Jake Aldridge from Pixabay You know oftentimes, the cause of runtime or compile errors and hours of debugging agony is all due to simply a missing semicolon. Have you ever had such experience? If you had, you are not alone. There are two ways to avoid these unfortunate situations: either become a perfect developer who never makes mistakes, or use helpful tools such as linters that can catch these errors early on. I am nowhere near being a perfect developer who never makes a mistake. In fact, I'm probably the opposite of a perfect developer, so even if I wanted to, I wouldn’t be able to teach you how to become a perfect developer. But what I can teach you is using linters. A Wikipedia defines a linter as a "static code analysis tool used to flag programming errors, bugs, stylistic errors and suspicious constructs." If you're not convinced yet on using linters, consider this scenario: in a large project with multiple members, different people tend to ...
Post a Comment
Read more

WinMerge のセットアップと使う方

WinMerge は、Windows 用のオープン ソースの差分およびマージ ツールです。WinMerge は、フォルダーとファイルの両方を比較し、違いを理解して扱いやすい視覚的なテキスト形式で表示します。この記事でWinMerge のセットアップと使う方を教えます。 source: https://winmerge.org WinMerge をダウンロード WinMerge のウェブサイト に行って、「WinMerge-2.16.44-x64-Setup.exe」ボタンを押し、WinMerge 2.16 をダウンロードしてください。 WinMerge をインストール ダウンロードされたソフトウェアをクリックし、ポップアップ画面で「Next」を押してください 「Languages」部分をスクロールダウンし、「Japanese menus and dialogs」を選択し、「Next」ボタンを押してください ターミナル等からも WinMerge をアクセス出来ようにする為に「Add WinMerge folder to your system path」オプションを選択し、希望によって他のオプション選択してください 「Enable Explorer context menu Integration」オプションを選択したら、フォルダ／ファイルを右キリックし、コンテクストメニューから WinMerge を開くようになります。 「Install」ボタンを押し、「Next」ボタンを押し、その後、「Finish」ボタンを押してください 言語を日本語にする もし WinMerge の言語が日本語じゃなくて、英語なら、「Edit」タブから「Options」を押してください。 ポップアップ画面で右側の下にある「Languages」と言うドロップダウンメニューから日本語を選択し、「OK」ボタンを押してください WinMerge を使う方 「ファイル」タッブから「開く」を押し 参照ボタンを押し、比較したいフォルダ・ファイルを指定 比較したいフォルダを指定する方法: ポップアップ画面から対象のフォルダーを選択し、「Open」を押してくだい 何も選択しないで、「Open」を押してくだい 右側下にある「比較」ボタンを押し ...
Post a Comment
Read more