Skip to main content

Snowflake Data Cloud Summit 2024 Summary

snow_summit

2024 念６月の３~６日 San Francisco でSnowflake Data Cloud Summit 2024が行おいました。主なトピックは AI と Polaris Catalog で、スターゲストが NVidia の CEO Jensen Huangでした。
この記事がその Data Cloud Summit をサマライズします。

AI

Snowflake Arctic

  • Arctic AI は Snowflake が自分で開発した AI モデルです
  • Open Source です
  • Snowflake によると Meta の Llama3 8B AI モデルよりもっと良いです

リンク

Universal Searchを使用すると、アカウント内のデータベース オブジェクト、Snowflake Marketplace で利用可能なデータ製品、関連する Snowflake ドキュメントのトピック、関連する Snowflake コミュニティ ナレッジ ベースの記事をすばやく簡単に見つけることが出来ます。

Universal Search は、クエリとデータベース オブジェクトに関する情報を理解し、検索語とは異なる名前のオブジェクトを見つけることができる。スペルを間違えたり、検索語の一部だけを入力したりした場合でも、役立つ結果が表示されます。

テーブルの列名によっても、Universal Search は結果を検索出来ます。列名、テーブルの行に書いたおりデータじゃないです。

Document AI

PDF, 絵、ビデオ、audio ファイルからデータを抽出出来る AI を Snowflake で使うようになりました。
リンク

Snowflake Copilot

  • SQl コードを書くに助けるAI アシスタントです
  • 普通の言葉を SQL コードに変わります: text-to-SQL

ML Functions

  • Snowflake でデータを予測する、異常検出、Classification (グルーップング)等を出来るＭＬ関数(モデル)が発表しました
  • この ML 関数を直接に使えない、この ML 関数を使って、自分の AI モデルを開発し、そして、開発した AI モデルを使えます。
    リンク

NVIDIA AI

  • AI を開発する為に使う NVIDIA NeMo Retriever と NVIDIA Triton Inference Server を Snowflake で使うようになりました
  • NeMo Retriever はチャットボット アプリケーションのパフォーマンスとスケーラビリティを向上します

Polaris Catalog

Snowflake で Apache Iceberg を使えるようになりました

  • Polaris Catalogは Apache Iceberg を利用出来るサービスです
  • Polaris Catalog は Open Source です
    データは Apache Iceberg に保存され、Polaris Catalog で Apache Iceberg に保存されているデータをクエリー、データを入力する等の事をします。
  • Apache Iceberg は Open Sourceので、Apache Iceberg に保存されているデータを Snowflake じゃなくて、他のサービスでも使えます
  • Apache Iceberg はテーブルのフォーマット(データが保存される方法とフォーマット)。
    テーブル・フォーマットの機能は、テーブルを構成するすべてのファイルをどのように管理、整理、追跡するかを決定することであります。
  • 元に Apache Hive に代わりに、Netflix が Iceberg を開発し、今は Apache Foundation が運用しています。
  • メリットは早くて、 効率的で信頼できます
  • 凄く大きなテーブルをサポート出来ます
  • SQL 言語を使えます
  • テーブルを（列を消す、列を追加する等）修正出来ます
  • データのバージョン管理: Apache Iceberg はデータのバージョン管理をサポートしており、ユーザーは時間経過に伴うデータの変更を追跡できる。これによりタイムトラベル機能が有効になり、ユーザーはデータの履歴バージョンにアクセスしてクエリを実行し、更新と削除の間のデータの変更を分析できます。
  • 似ているフォーマットのDelta Lake よりも Apachi Hudi よりも早いです
  • 今月(末)に Snowflake で Preview 出来ます
  • Microsoft Fabricも同じデータをアクセス出来、データをコピーする必要がないです

その他のアップデート

Snowflake Notebooks

  • Snowflake が Notebooks をサポートするようになりました
  • 同じページに SQL、Python と Markdown を書けます
  • Notebook で Streamlit も使えます

Snowflake Data Clean Rooms

  • データを権限管理を利用しながら、安全的に共有出来ます
  • Snowflake Data Clean Rooms に中で PII を消されり、データが匿名化されたデータになます
  • (Raw)詳細なデータを見なず、他の会社/相手のデータを分析出来る: Join, Group By, Count, Min, Max 等のクエリー

Coda で Snowflake のデータを使えるようになりました

Coda は Notion ようなウェブアプリケーションで、Coda でドクメントを作成することが出来、他の Gmail, Slack ようなアプリを導入し、Coda から使える事が出来ます。

CREATE OR ALTER TABLE and CREATE OR ALTER TASK

CREATE OR REPLACEような、CREATE OR ALTERコマンドがサポートされています (プレビュー)
もし、テーブルがあったら修正される、なかったら作成されます

Labels:

Comments

Post a Comment

Popular posts from this blog

Introduction to SQLFluff: How to make your SQL code clean and error-free

Image by Jake Aldridge from Pixabay You know oftentimes, the cause of runtime or compile errors and hours of debugging agony is all due to simply a missing semicolon. Have you ever had such experience? If you had, you are not alone. There are two ways to avoid these unfortunate situations: either become a perfect developer who never makes mistakes, or use helpful tools such as linters that can catch these errors early on. I am nowhere near being a perfect developer who never makes a mistake. In fact, I'm probably the opposite of a perfect developer, so even if I wanted to, I wouldn’t be able to teach you how to become a perfect developer. But what I can teach you is using linters. A Wikipedia defines a linter as a "static code analysis tool used to flag programming errors, bugs, stylistic errors and suspicious constructs." If you're not convinced yet on using linters, consider this scenario: in a large project with multiple members, different people tend to ...
Post a Comment
Read more

WinMerge のセットアップと使う方

WinMerge は、Windows 用のオープン ソースの差分およびマージ ツールです。WinMerge は、フォルダーとファイルの両方を比較し、違いを理解して扱いやすい視覚的なテキスト形式で表示します。この記事でWinMerge のセットアップと使う方を教えます。 source: https://winmerge.org WinMerge をダウンロード WinMerge のウェブサイト に行って、「WinMerge-2.16.44-x64-Setup.exe」ボタンを押し、WinMerge 2.16 をダウンロードしてください。 WinMerge をインストール ダウンロードされたソフトウェアをクリックし、ポップアップ画面で「Next」を押してください 「Languages」部分をスクロールダウンし、「Japanese menus and dialogs」を選択し、「Next」ボタンを押してください ターミナル等からも WinMerge をアクセス出来ようにする為に「Add WinMerge folder to your system path」オプションを選択し、希望によって他のオプション選択してください 「Enable Explorer context menu Integration」オプションを選択したら、フォルダ／ファイルを右キリックし、コンテクストメニューから WinMerge を開くようになります。 「Install」ボタンを押し、「Next」ボタンを押し、その後、「Finish」ボタンを押してください 言語を日本語にする もし WinMerge の言語が日本語じゃなくて、英語なら、「Edit」タブから「Options」を押してください。 ポップアップ画面で右側の下にある「Languages」と言うドロップダウンメニューから日本語を選択し、「OK」ボタンを押してください WinMerge を使う方 「ファイル」タッブから「開く」を押し 参照ボタンを押し、比較したいフォルダ・ファイルを指定 比較したいフォルダを指定する方法: ポップアップ画面から対象のフォルダーを選択し、「Open」を押してくだい 何も選択しないで、「Open」を押してくだい 右側下にある「比較」ボタンを押し ...
Post a Comment
Read more

Git squash merge explained

There are many ways to integrate changes in git: regular / normal git merge, git squash merge, git rebase etc. This article explains git squash merge by comparing it to regular merge. Let’s use below example: In the repository with default main branch, after two commits, a new feature branch is created. Some work happened in feature branch. feature branch now has 2 commits that it shares with main branch, and three exclusive commits (exists only in feature branch). In the meantime, others worked on main branch and added two new commits (exists only in main branch). git log output of the main branch: c72d4a9 ( HEAD - > main ) fourth commit on main 2c3dd61 third commit on main 0c2eec3 second commit on main 9b968e8 first commit on main git log output of the feature branch: 786650f ( HEAD - > feature ) third commit on feature 21cbaf1 second commit on feature 677bc7f first commit on feature 0c2eec3 second commit on main 9b968e8 first commit on mai...
Post a Comment
Read more