Cherry Peeked

Alation データセット、レポート、その他アセットが、AWS、Azure、GitHub、Power BIなどの環境に散在している場合、必要な情報（どのデータがどこにあるのか）を探し出すのに何日もかかることがあります。 メタデータ管理 は、現代のデータ戦略の要です。熟練した司書のように、適切なデータが目録化され、簡単に見つけられ、適切に維持され、組織のニーズに合っていることを保証します。そのためのメタデータ管理ソリューションの一つが Alation です： Alationの概要。 コネクタ Alationは120以上のソースに対応したコネクタを提供しています： 全コネクタ一覧 。 Alationはメタデータの大部分を自動的に抽出できますが、すべてではありません。 DenodoとAlationの例を見てみましょう。AlationにはDenodo用のコネクタがあります。 Denodoコネクタ Denodoによる連携説明 対応している認証方法： ユーザー名とパスワードによる認証 SSL認証 Alationは以下のメタデータを自動的に抽出します。 スキーマのリスト テーブルのリスト ビューのリスト カラムのリスト データの利用頻度 抽出されたテーブルの主キー情報 抽出されたテーブルからのデータサンプル取得 抽出されたカラムからのデータサンプル取得 ただし、以下のメタデータはコネクタで抽出できません。 カラムのコメント カラムのデータ型 ソースのコメント コネクタで抽出できないメタデータを補完するために、APIを使用することができます。 カスタムフィールドの作成 APIを使ってデータソースにメタデータフィールドを追加する方法を説明する前に、まず カスタムフィールド について説明します。 AlationのUIでは、テーブルやスキーマなどのデータソースが「タイトル」や「説明」といったメタデータフィールドとともに表示されます。通常、これらのデフォルトのメタデータフィールドで十分ですが、新しい カスタムフィールド を追加する必要がある場合は、 追加することも可能 です。 Alationには、「タイトル」や「説明」といった 組み込みフィールド があります。これに加えて、カスタムフィールドを作成すること...

What is Alation When your datasets, reports, and other assets are spread across environments (AWS, Azure, GitHub, Power Bi etc), it can take days to hunt down the right information (to find out where is what data). Metadata management is the cornerstone of modern data strategy. Like a skilled librarian, it ensures the right data is cataloged, easy to locate, properly maintained, and aligned with organizational needs. One of the Metadata management solutions is Alation. Video explanations: Short explanation 1 Short explanation 2 Connectors Alation provides connectors for over 120 sources: all connectors . Alation can extract most of the metadata automatically but not all. Let’s take the example of Denodo & Alation case. Alation has a connector for Denodo. Denode connector Connection explanation by Denodo Supported Authentications methods: Authentication with username and password SSL Authentication Alation automatically extracts following metadata : List ...

(9 minute read) When you hear “version control” or “version control systems”, you might immediately think of git. You may be already using Git and GitHub since they are now de facto industry standards. But do you know other version control systems exists too, how about the history of version control systems? Alternatively, you may have almost no idea what version control is. You might have come across words like Version Control, Source Control, Git, GitHub, SVN, and all the other terms. You might have wondered what they all meant. Throughout this multi-part post you will learn what version control is, version control systems, popular platforms built on the top of the version control systems and much more. Then, let’s get started! In part one of this multi-part version control series post, we will learn below concepts: Table of contents: What is Version Control Version Control Systems Local Version Control Systems What is Version control Version Control (also known as R...

dbt Core 徹底解説 dbtはデータビルドツールの略です。 dbt core は、データ変換を目的としたCLIツールです。 これはPythonで書かれたオープンソースツールです。 (クラウドホスト型（有料）のdbt cloudも提供されています。) dbt core は SQL クライアントと考えることができます。データ変換プロセスの実行と管理を容易にする機能を備えています。 dbt core を使用するとテーブルとビューを作成できますが、テーブルの削除は できません 。 dbt core についてさらに詳しく説明する前に、まずデータ変換とは何かを明確にしておきましょう。 あなたがデータエンジニアとして企業で働いていると想像してみてください。あなたの企業は、API、顧客、サプライヤー、社内システムなどからデータを取得しています。 データは新たな宝庫であるため、このデータは企業の業務に関する洞察を得るのに役立つ可能性があることはご存知でしょう。 そこで、最初のステップとして、利用可能なすべてのデータを抽出し、 表形式 でデータウェアハウス（Snowflake、DataBricks、BigQuery など）にロードします。 このデータは、変更や変換をせずにそのまま保存するため、 生データ と呼ばれます。 営業／マーケティング／ビジネス分析チームがこのデータを使用して企業の業務に関するビジネス洞察を得たい場合、不要なデータを除外したり、データを変更したり、データの形式を変更したりするために、複雑なクエリを作成する必要があります。 彼らはデータエンジニアではないため、複雑な SQL クエリの作成は得意ではありません。 同僚の作業を楽にするために、次のステップとして、生データを新しいビューまたはテーブルに分類されたデータに変換します。これには、データの特定の部分をフィルタリング、変更、またはフォーマットすることが含まれます。この変換は、行のフィルタリング、行のグループ化、列名の変更、既存の値に基づく新しい値の計算などによって実現できます。 dbt core は、この変換ステップを支援します。 dbt は、コードとコードファイルを整理するのに役立ち、SQL では利用できない追加機能も提供します。 つまりは： ...