Cherry Peeked

(9 minute read) When you hear “version control” or “version control systems”, you might immediately think of git. You may be already using Git and GitHub since they are now de facto industry standards. But do you know other version control systems exists too, how about the history of version control systems? Alternatively, you may have almost no idea what version control is. You might have come across words like Version Control, Source Control, Git, GitHub, SVN, and all the other terms. You might have wondered what they all meant. Throughout this multi-part post you will learn what version control is, version control systems, popular platforms built on the top of the version control systems and much more. Then, let’s get started! In part one of this multi-part version control series post, we will learn below concepts: Table of contents: What is Version Control Version Control Systems Local Version Control Systems What is Version control Version Control (also known as R...

dbt Core 徹底解説 dbtはデータビルドツールの略です。 dbt core は、データ変換を目的としたCLIツールです。 これはPythonで書かれたオープンソースツールです。 (クラウドホスト型（有料）のdbt cloudも提供されています。) dbt core は SQL クライアントと考えることができます。データ変換プロセスの実行と管理を容易にする機能を備えています。 dbt core を使用するとテーブルとビューを作成できますが、テーブルの削除は できません 。 dbt core についてさらに詳しく説明する前に、まずデータ変換とは何かを明確にしておきましょう。 あなたがデータエンジニアとして企業で働いていると想像してみてください。あなたの企業は、API、顧客、サプライヤー、社内システムなどからデータを取得しています。 データは新たな宝庫であるため、このデータは企業の業務に関する洞察を得るのに役立つ可能性があることはご存知でしょう。 そこで、最初のステップとして、利用可能なすべてのデータを抽出し、 表形式 でデータウェアハウス（Snowflake、DataBricks、BigQuery など）にロードします。 このデータは、変更や変換をせずにそのまま保存するため、 生データ と呼ばれます。 営業／マーケティング／ビジネス分析チームがこのデータを使用して企業の業務に関するビジネス洞察を得たい場合、不要なデータを除外したり、データを変更したり、データの形式を変更したりするために、複雑なクエリを作成する必要があります。 彼らはデータエンジニアではないため、複雑な SQL クエリの作成は得意ではありません。 同僚の作業を楽にするために、次のステップとして、生データを新しいビューまたはテーブルに分類されたデータに変換します。これには、データの特定の部分をフィルタリング、変更、またはフォーマットすることが含まれます。この変換は、行のフィルタリング、行のグループ化、列名の変更、既存の値に基づく新しい値の計算などによって実現できます。 dbt core は、この変換ステップを支援します。 dbt は、コードとコードファイルを整理するのに役立ち、SQL では利用できない追加機能も提供します。 つまりは： ...