Skip to main content

Posts

Snowflake の新エディタ: プライベートワークスペースと共有ワークスペース)

Snowflake では、ワークスペースと呼ばれる新しいファイルエディタが導入されました。 これにより、フォルダによるファイル整理が容易になります。データベースエクスプローラーとクエリ履歴ペインも搭載されているため、データベースオブジェクトの探索やクエリの検査も容易になります。 ワークスペースには、(プライベート) ワークスペースと共有ワークスペースの 2 種類があります。 (プライベート) ワークスペース ワークスペース所有者専用（所有者のみがワークスペースファイルを表示およびアクセスできます）。 ワークスペースは、自動的に作成されるユーザー固有のデータベースに保存されます。このデータベースには、プライベートワークスペースのみが保存され、それ以外のファイルは保存されません。 あらゆる種類のファイル（SQL ファイル、Python ファイル、JavaScript、シェルファイルなど）を作成できます。 フォルダの作成とネストが可能です。ファイルのドラッグ＆ドロップも可能です。 AI Copilot が有効になっています。 バージョン管理（git、github）を使用してバージョン履歴を管理できます。 まもなく、ワークスペースはSnowflakeのデフォルトエディターになります。 共有ワークスペース プライベートワークスペースと同じですが、2つの違いがあります。 共有ワークスペースは、テーブルなどの他のオブジェクトも保存する通常のデータベース上に作成できます。 ワークスペースの作成者は、ワークスペースを作成するデータベースとスキーマを選択できます。 共有ワークスペースには複数のユーザーがアクセスできます。アクセスはロールによって管理されます。 あるユーザーが共有ワークスペースのファイルを変更すると、他のユーザーもそれを閲覧できます。 ユーザーは、自分のプライベートワークスペースからファイルを共有ワークスペースに持ち込むことができます。 使用方法 共有ワークスペースエディターは、リアルタイムのマルチユーザー編集をサポートしていません。 あるユーザーがファイルの編集を開始すると、そのファイルのコピーが下書きとして取得されます。変更内容はそのユーザーのみに表示されます。変更されたファイルを公開すると、他のユーザーにも...
Post a Comment
Read more
Recent posts

Snowflake's New Editor: Private and Shared Workspaces

Snowflake introduced a new file editor called workspaces. It makes the file organization easier via folders. Since it also includes the Database explorer and Query history panes, it also makes the database object exploration and query inspection easier. There are two types of workspaces: (private) workspaces and shared workspaces. (Private) Workspaces Private to a workspace owner (only owner can see and access the workspace files). Workspaces are stored in an automatically created, user-specific database. This database stores the private workspaces only, nothing else. It is possible to create all types of files (sql files, python files, javascript, shell files etc.) It is possible to create folders, and nest folders. Drag and dropping files is possible. AI Copilot is enabled. It is possible to use version control (git, github) to manage version history. Soon workspaces will be a default editor in Snowflake. Shared Workspaces The same as private workspace, but has two ...
Post a Comment
Read more

Alation: APIを使用してメタデータを登録する

Alation データセット、レポート、その他アセットが、AWS、Azure、GitHub、Power BIなどの環境に散在している場合、必要な情報（どのデータがどこにあるのか）を探し出すのに何日もかかることがあります。 メタデータ管理 は、現代のデータ戦略の要です。熟練した司書のように、適切なデータが目録化され、簡単に見つけられ、適切に維持され、組織のニーズに合っていることを保証します。そのためのメタデータ管理ソリューションの一つが Alation です： Alationの概要。 コネクタ Alationは120以上のソースに対応したコネクタを提供しています： 全コネクタ一覧 。 Alationはメタデータの大部分を自動的に抽出できますが、すべてではありません。 DenodoとAlationの例を見てみましょう。AlationにはDenodo用のコネクタがあります。 Denodoコネクタ Denodoによる連携説明 対応している認証方法： ユーザー名とパスワードによる認証 SSL認証 Alationは以下のメタデータを自動的に抽出します。 スキーマのリスト テーブルのリスト ビューのリスト カラムのリスト データの利用頻度 抽出されたテーブルの主キー情報 抽出されたテーブルからのデータサンプル取得 抽出されたカラムからのデータサンプル取得 ただし、以下のメタデータはコネクタで抽出できません。 カラムのコメント カラムのデータ型 ソースのコメント コネクタで抽出できないメタデータを補完するために、APIを使用することができます。 カスタムフィールドの作成 APIを使ってデータソースにメタデータフィールドを追加する方法を説明する前に、まず カスタムフィールド について説明します。 AlationのUIでは、テーブルやスキーマなどのデータソースが「タイトル」や「説明」といったメタデータフィールドとともに表示されます。通常、これらのデフォルトのメタデータフィールドで十分ですが、新しい カスタムフィールド を追加する必要がある場合は、 追加することも可能 です。 Alationには、「タイトル」や「説明」といった 組み込みフィールド があります。これに加えて、カスタムフィールドを作成すること...
Post a Comment
Read more

Alation: Register Metadata using API

What is Alation When your datasets, reports, and other assets are spread across environments (AWS, Azure, GitHub, Power Bi etc), it can take days to hunt down the right information (to find out where is what data). Metadata management is the cornerstone of modern data strategy. Like a skilled librarian, it ensures the right data is cataloged, easy to locate, properly maintained, and aligned with organizational needs. One of the Metadata management solutions is Alation. Video explanations: Short explanation 1 Short explanation 2 Connectors Alation provides connectors for over 120 sources: all connectors . Alation can extract most of the metadata automatically but not all. Let’s take the example of Denodo & Alation case. Alation has a connector for Denodo. Denode connector Connection explanation by Denodo Supported Authentications methods: Authentication with username and password SSL Authentication Alation automatically extracts following metadata : List ...
Post a Comment
Read more

dbt core tutorial

dbt stands for data build tool. dbt core is an open source cli tool, written in python, that is intended for data transformation purposes. There is also a cloud hosted (paid) version called dbt cloud. However, in this post we will discuss dbt core (free open-source tool). We can think of dbt core as an sql client. It connects to the server and server executes the code. It has certain features to make the data transformation process easy to manage. However, there is a critical distinction, dbt core is intended to be used for creating tables and views, not for querying, deleting or dropping them. dbt core is used for transforming data. Before explaining dbt core any further, first, let’s clarify what data transformation means. Imagine you work at a company as a data engineer. Your company gathers data coming from APIs, excel, csv files, customers, suppliers, internal systems and more. This data might be useful to gain valuable insights into company’s operations. As a firs...
Post a Comment
Read more