Skip to main content

脱初心者！ Git ワークフローを理解して開発効率アップ

git workflow

Git – チーム開発に必須のバージョン管理システムですが、その真価を発揮するにはワークフローの理解が欠かせません。 色々な人は Git の使い方を良く知っていますが、Git を仕事やワークフローに統合する方法を余り良く知らない人もいます。本記事では、Git をワークフローに組み込むことで、開発プロセスがどのように効率化され、チーム全体のパフォーマンスが向上するのかを解説します。Centralized Workflow から Forking Workflow まで、代表的な 9 つのワークフローの特徴を分かりやすく紹介します。それぞれのメリット・デメリット、そして最適なユースケースを理解することで、あなたのプロジェクトに最適なワークフローを選択し、開発をスムーズに進めましょう！

  1. Centralized Workflow
  2. Feature branching/GitHub Flow
  3. Trunk Based Flow
  4. Git Feature Flow
  5. Git Flow
  6. Enhanced Git Flow
  7. One Flow
  8. GitLab Flow
  9. Forking Workflow

分かりやすくするために、同じコンセプトを説明するに一つ以上の図を使った場合があります。

Centralized Workflow

説明：

集中化ワークフローではプロジェクトにおけるすべての変更の単一の入力箇所として中央リポジトリを使用します。デフォルトの開発用ブランチは main と呼ばれ、すべての変更がこのブランチにコミットされます。 集中化ワークフローでは main 以外のブランチは不要です。チームメンバー全員がひとつのブランチで作業し、変更を直接中央リポジトリにプッシュします。

メリット：

  1. SVN のような集中型バージョン管理システムから移行する小規模チームに最適。

デメリット：

  1. お互いのコードが邪魔になり (お互いの変更を上書きするように)、プロダクション環境にバグをい入れる可能性が高くて、複数のメンバいるチームでこのフローを使いにくい。

地図：


graph TD;
    A[Central Repository] -->|Clone| B1[Developer A's Local Repo]
    A -->|Clone| C1[Developer B's Local Repo]

    B1 -->|Make Changes| B2[Commit Changes]
    C1 -->|Make Changes| C2[Commit Changes]

    B2 -->|Push| A
    C2 -->|Push| A

    A -->|Pull| B1
    A -->|Pull| C1

Feature branching / GitHub Flow

説明：

すべての機能開発を main ブランチではなく専用のブランチで行う。main ブランチに壊れたコードは含まれない、いつもリリース出来るコードを含む。（master ブランチにあるものはすべてデプロイ可能だ） 開発者はメインブランチからフィーチャーブランチを作成し、変更が完了したらプルリクエストを使ってメインブランチにマージする。 mergeの後にフィーチャーブランチを消す。 開発者は絶対に直接にmainブランチにプッシュしない、いつもpull requestする。

メリット：

  1. すぐに理解することが出来る (一番分かりやすいワークフロー)
  2. main のコードベースに影響を与えることなく複数の開発者が別々のフィーチャー開発作業を行える
  3. CI/CD の為に適す
  4. プルリクエストの活用でブランチに関連した問題点を議論出来る
  5. よくリリースするプロジェクトに使える/に適す
  6. ウェブサイト開発のプロジェクトにように一つだけのバージョンが要るプロジェクトに適す
  7. merge conflict が少ない

デメリット：

  1. 主なブランチがmainしかないので、 異なるタスクを互いに分けて管理するのは少し難しくて、チームにとっては混乱した状況になる恐れがある
  2. リリースと開発ような環境専用のブランチがない、本番環境でバグが発生しやすく
  3. 同時に複数のバージョンをサポートする事が必要なら、このワークフローを使えない
  4. 複数のfeature branchの完了が（同時に）長く時間かかったら行ったら、mergeするのは難しくなる

地図：


地図 1

  Feature branching 
source: https://www.atlassian.com/git/tutorials/comparing-workflows/feature-branch-workflow


地図 2

  Feature branching
source: https://www.optimizely.com/optimization-glossary/trunk-based-development/ 


地図 3


  GitHub Flow
source: https://www.gitkraken.com/learn/git/best-practices/git-branch-strategy

Trunk Based Development

説明：

エンジニアは、小さな変更をより頻繁にメインのコードベースにマージし、長期間のフィーチャーブランチで作業するよりも、トランク(mainブランチ)のコピーで作業する。多くの場合、featureブランチには特徴の一部しか含まれないため、featureブランチは小さくなる。 featureブランチをmainブランチにmergeする前にfeatureブランチをよくテストする。

GitHub Flow と似ている、二つの違いさがある

  1. feature branchが完了するまで待たず、mainブランチにmergeする
  2. 小さいなチームの場合は小さなコード変更なら開発者は直接にmainブランチにプッシュ出来る

メリット：

  1. merge conflictが一番少ないワークフロー
  2. かりやすいワークフロー
  3. CI/CD の為に適す
  4. プルリクエストの活用でブランチに関連した問題点を議論出来る
  5. よくリリースするプロジェクトに使える/に適す
  6. ウェブサイト開発のプロジェクトにように一つだけのバージョンが要るプロジェクトに適す

デメリット：

  1. フィーチャーが完了ずmainにmergeするので、mainブランチにバグを入れ恐れがある
  2. フィーチャーが完了ずmainにmergeする為に、よくFeature Toggle/Flagを使られるけど、その為に経験を持っている開発者が必要
  3. 主なブランチがmainしかないので、 異なるタスクを互いに分けて管理するのは少し難しくて、チームにとっては混乱した状況になる恐れがある
  4. リリースと開発ような環境専用のブランチがない、本番環境でバグが発生しやすく
  5. 同時に複数のバージョンをサポートする事が必要なら、このワークフローを使えない 

地図： 


Trunk Based Development
source: https://www.optimizely.com/optimization-glossary/trunk-based-development/

Git Flow

説明：

mainとdevelopと言う 2 つの長期ブランチとさらにfeature、release、hotfix といった追加のブランチを特定の目的に使用する。ブランチの役割分担を明確にし、いつ、どのように相互作用するかを定義している。機能ブランチに加え、リリースの準備、メンテナンス、記録にも個々のブランチを使用する。

プロダクション環境のコードがmainブランチで保存される

メリット：

  1. 特別のreleaseブランチがあるので構造化されたリリースサイクルを持つプロジェクトに最適
  2. デプロイ前に機能の広範なテストを必要な場合に適す。
  3. プロジェクトをよく構造する (さまざまな種類のブランチがあるため、直感的に仕事を整理しやすい。)
  4. 同時にアプリケーションの複数のバージョンをサポート出来る

デメリット：

  1. プロジェクトによって開発プロセスやリリースサイクルを複雑にしすぎ、遅らせる恐れがある。
  2. (プロジェクトによって) CI/CD が難しい。
  3. 主なブランチがmainじゃなくて、developで、慣れるのが時間掛かる
  4. よく同じコードを二つのブランチにmergeする必要があるので、mergeを忘れ、間違いやすい(release と hot-fix ブランチの場合)
  5. Git History が分かりにくくなる
  6. アプリケーションが一つだけのバージョンがある場合は進めじゃない
  7. ほとんどの開発者や開発チームが実際に必要としているよりも複雑なのだ
  8. 複数のfeature branchの完了が（同時に）長く時間かかったら行ったら、mergeするのは難しくなる

地図：


地図 1

  Git Flow
source: https://www.atlassian.com/git/tutorials/comparing-workflows/gitflow-workflow 


地図 2 


Git Flow 
source: https://www.gitkraken.com/learn/git/git-flow 


地図 3


  Git Flow 
source: https://nvie.com/posts/a-successful-git-branching-model/

Enhanced Git Flow

説明：

Git Flowに似ている。develop、main、と言うブランチとfeatureブランチがある。 developブランチに蓄積されたものを放出するときは、厳密にはmainのスーパーセットだ。 開発はdevelopブランチで行われ、mainブランチはデプロイブランチです。developブランチの準備ができると、main ブランチの現在の先端が v1 などのアプリのバージョンとしてラベル付けされ、mainブランチのポインタがdevelopブランチを指すように変更されます。ホットフィックスがある場合はメインブランチに対して行われ、developブランチは続行されます。developブランチの準備ができると、メインブランチは v2 のタグで停止され、developブランチにマージされます（v3 になります）。 開発はdevelopブランチでして、リリースする時にdevelopブランチ名をmainに変わって、リリースバージョンをtagで書く。 featureブランチはdevelopにmerge`する

メリット：

  1. ブランチの種類が少ない (Git Flow より分かりやすい)
  2. リリースブランチと開発ブランチは別々
  3. GitHub Flow よりもっと整理され、構造化されている

デメリット：

  1. 余り人気がないワークフロー
  2. レポゾトリを運用する人は経験と技術が必要 

地図： 

Enhanced Git Flow
source: https://www.toptal.com/gitflow/enhanced-git-flow-explained 


Enhanced Git Flow 
source: https://www.toptal.com/gitflow/enhanced-git-flow-explained

Git Feature Flow

説明：

production、stage、deployment、featureと言うブランチがある。 featureはproductionブランチに基づう。

flowchart LR
    branch1(feature) -- merge --> branch2(development) -- merge --> branch3(stage) -- merge --> branch4(production)

流れじゃなくて、以下の通りです。

flowchart LR
    branch1(feature) -- merge --> branch2(development)
    branch1 -- merge --> branch3(stage)
    branch1 -- merge --> branch4(production)

メリット：

  1. 色々の環境のブランチがある

デメリット：

  1. 余り人気がない
  2. (他のワークフローと逆から)分かりにくい
  3. 不要なステップが多い(同じコードを各ブランチにmergeする)
  4. merge conflictが多い 

地図：


地図 1


gitGraph
    commit
    branch develop
    branch stage
    commit
    commit
    commit
    checkout main
    commit
    commit
    commit
    checkout stage
    commit
    commit
    commit
    checkout develop
    commit
    commit
    commit
    commit
    checkout main
    branch feature
    commit
    commit
    commit
    checkout main
    commit
    commit
    checkout stage
    merge feature
    checkout feature
    checkout develop
    merge feature
    checkout main
    merge feature



地図 2


  Git Feature Flow 
source: https://medium.com/dev-managers-handbook/git-feature-flow-125d28dfef1e

GitLab Flow

説明：

Gitlab Flowは 2 種類がある：Versioned Releaseと Continuous Release。

Versioned Release 三つのブランチがある:main、versionとfeature。 各リリースには、mainブランチをベースにしたリリースブランチを作成。featureブランチをmainブランチにmergeする。バグ修正は、リリースブランチにマージする前に、まずメインブランチにマージすべき。

Continuous Release mainとproduction、featureと言うブランチ(とpreproductionような環境ブランチ)がある。開発はmainブランチでし、リリースする時にmainブランチをproductionブランチにmergeする。（preproductionブランチがあったら、productionにmerge前に、preproductionにmergeする） main、productionとpreproductionブランチに直接にmergeしず、pull requestする。

flowchart LR
    b1(Master) -- merge --> b2(Pre-Production) -- merge --> b3(Production)

両方の種類でもmergeの後、featureブランチを消す。

メリット：

  1. フレキシブル
  2. （Versioned Release の場合は）アプリケーションの複数のバージョンをサポート出来る
  3. （ Continuous Release の場合は）アプリケーションの一つだけのバージョンもサポート出来る
  4. （ Continuous Release の場合は）CI/CD は導入出来る
  5. Git Flow と Enhanced Git Flow より分かりやすい
  6. GitHub Flow よりもっと整理され、構造化されている

デメリット：

  1. 一番分かりやすいワークフローじゃない (GitHub Flow が一番分かりやすい)
  2. 一番整理され、構造化されているワークフローじゃない
  3. Merge Conflict が起こる恐れがある

Versioned Release の地図:


Gitlab Flow Versioned release 
source: https://www.gitkraken.com/learn/git/best-practices/git-branch-strategy 


Continuous Release の地図：


Gitlab Flow
source: https://github.com/jadsonjs/gitlab-flow 


Gitlab Flow
source: https://github.com/jadsonjs/gitlab-flow 


Gitlab Flow 
source: https://github.com/jadsonjs/gitlab-flow 


Gitlab Flow 
source: https://github.com/jadsonjs/gitlab-flow 


地図 2

  Gitlab Flow 
source: https://github.com/jadsonjs/gitlab-flow

One Flow

説明：

Git Flowに似ているけど、違いさはdevelopブランチがない、開発はmainブランチでする。 mainブランチにmergeした後にmergeしたブランチを消す(featureとかreleaseとかhot-fix)

メリット：

  1. Git Flow より分かりやすい
  2. GitHub Flow より組織的

デメリット：

  1. CI/CD に余り最適じゃない
  2. merge conflict がよく起こる恐れがある

地図：


gitGraph
    commit
    commit
    commit
    branch feature_a
    checkout feature_a
    commit
    checkout main
    commit
    branch release1
    commit
    commit
    commit id: "v1.0"
    checkout main
    merge release1
    checkout feature_a
    commit
    checkout main
    merge feature_a
    commit

Forking Workflow

説明：

このワークフローを他のワークフロー一緒に使うはずです。 外部の貢献者がメインのリポジトリに直接アクセスせずに作業できるようにするものである。貢献者は、メインリポジトリに直接アクセスすることなく作業を行うことができます。開発者はメインリポジトリのフォーク（個人的なコピー）を作成し、そこに変更を加えます。そこに変更を加えます。そして、その変更をメインリポジトリに統合するためにマージリクエストを提出します。メインリポジトリに統合します。 単一のサーバーサイドリポジトリを「中央」のコードベースとして使う代わりに、すべての開発者に独自のサーバーサイドリポジトリを提供します。つまり、各開発者はひとつではなくふたつの Git リポジトリを持つことになります。プライベートなローカルリポジトリと、パブリックなサーバーサイドリポジトリです。フォークワークフローは、公開オープンソースプロジェクトでよく見られます。

このワークフローを他のワークフローと一緒に使える

メリット：

  1. オープンソースプロジェクトに最適

デメリット：

  1. オープンソースプロジェクトじゃない場合は、プロジェクトに不要なステップをもたらす。

結論

全ての条件を満たすワークフローがない、一番良いワークフローもないです。どのワークフローを使うのはプロジェクトによって、チームのよって、多くの場合は好みによってです。上のワークフローは決まりじゃないので、色々な会社は自分の理解、条件と好みによって色々な修正/調整し、使っています。

私の意見では GitLab Flow が良いです。理由は環境ブランチがあり、余り複雑じゃないのでです。

役に立つリンク

Centralized Workflow (集中化ワークフロー):

  1. https://www.atlassian.com/ja/git/tutorials/comparing-workflows
  2. https://www.atlassian.com/git/tutorials/comparing-workflows#centralized-workflow

Trunk Based Flow:

  1. https://www.optimizely.com/optimization-glossary/trunk-based-development/
  2. https://www.optimizely.com/optimization-glossary/feature-flags/
  3. https://www.optimizely.com/optimization-glossary/feature-toggle/
  4. https://martinfowler.com/articles/feature-toggles.html
  5. https://trunkbaseddevelopment.com/
  6. https://www.atlassian.com/continuous-delivery/continuous-integration/trunk-based-development

Feature branching/GitHub Flow:

  1. https://docs.github.com/en/get-started/quickstart/github-flow
  2. https://www.atlassian.com/ja/git/tutorials/comparing-workflows/feature-branch-workflow
  3. https://www.atlassian.com/git/tutorials/comparing-workflows/feature-branch-workflow
  4. https://www.atlassian.com/git/tutorials/comparing-workflows/gitflow-workflow
  5. https://scottchacon.com/2011/08/31/github-flow.html

Git Flow:

  1. https://www.atlassian.com/ja/git/tutorials/comparing-workflows/gitflow-workflow
  2. https://nvie.com/posts/a-successful-git-branching-model/
  3. https://www.gitkraken.com/learn/git/git-flow

Enhanced Git Flow:

  1. https://www.toptal.com/gitflow/enhanced-git-flow-explained

Git Feature Flow:

  1. https://medium.com/dev-managers-handbook/git-feature-flow-125d28dfef1e

GitLab Flow:

  1. https://github.com/jadsonjs/gitlab-flow
  2. https://microfluidics.utoronto.ca/gitlab/help/topics/gitlab_flow.md
  3. https://about.gitlab.com/topics/version-control/what-is-gitlab-flow/
  4. https://about.gitlab.com/topics/version-control/what-are-gitlab-flow-best-practices/

One Flow:

  1. https://www.endoflineblog.com/oneflow-a-git-branching-model-and-workflow

Forking Workflow:

  1. https://www.atlassian.com/git/tutorials/comparing-workflows/forking-workflow

General:

  1. https://nira.com/git-flow-vs-github-flow/
  2. https://www.gitkraken.com/learn/git/best-practices/git-branch-strategy
  3. https://medium.com/@patrickporto/4-branching-workflows-for-git-30d0aaee7bf
  4. https://about.gitlab.com/topics/version-control/what-is-git-workflow/
Labels:

Comments

Post a Comment

Popular posts from this blog

Introduction to SQLFluff: How to make your SQL code clean and error-free

Image by Jake Aldridge from Pixabay You know oftentimes, the cause of runtime or compile errors and hours of debugging agony is all due to simply a missing semicolon. Have you ever had such experience? If you had, you are not alone. There are two ways to avoid these unfortunate situations: either become a perfect developer who never makes mistakes, or use helpful tools such as linters that can catch these errors early on. I am nowhere near being a perfect developer who never makes a mistake. In fact, I'm probably the opposite of a perfect developer, so even if I wanted to, I wouldn’t be able to teach you how to become a perfect developer. But what I can teach you is using linters. A Wikipedia defines a linter as a "static code analysis tool used to flag programming errors, bugs, stylistic errors and suspicious constructs." If you're not convinced yet on using linters, consider this scenario: in a large project with multiple members, different people tend to ...
Post a Comment
Read more

How To Use KeePassXC Cli

There are similarly named programs: KeePass, KeePassX and KeePassXC (many of which are each others’ forks). Program Condition KeePass primarily for Windows. KeePassX no longer actively maintained. KeePassXC actively maintained and runs natively on Linux, macOS and Windows . Note: GUI version of the KeePassXC has more features than cli version. GUI version has variety of shortcuts as well. Regarding how to use GUI version of the KeePassXC, visit Getting Started Guide . Below features are available only in GUI version. Setting “Name” and “Description” fields of passwords database. Nesting Groups. Creating entry attributes ( open issue ). Adding Timed One-Time Passwords (TOTP). Adding entry with the same title as existing entry. KeePassXC stores all the passwords in passwords database. A passwords database (hereafter referred to as database) is an (encrypted) binary file. It can have any or no extension, but the .kdbx extension is commonly used. The ...
Post a Comment
Read more

Git squash merge explained

There are many ways to integrate changes in git: regular / normal git merge, git squash merge, git rebase etc. This article explains git squash merge by comparing it to regular merge. Let’s use below example: In the repository with default main branch, after two commits, a new feature branch is created. Some work happened in feature branch. feature branch now has 2 commits that it shares with main branch, and three exclusive commits (exists only in feature branch). In the meantime, others worked on main branch and added two new commits (exists only in main branch). git log output of the main branch: c72d4a9 ( HEAD - > main ) fourth commit on main 2c3dd61 third commit on main 0c2eec3 second commit on main 9b968e8 first commit on main git log output of the feature branch: 786650f ( HEAD - > feature ) third commit on feature 21cbaf1 second commit on feature 677bc7f first commit on feature 0c2eec3 second commit on main 9b968e8 first commit on mai...
Post a Comment
Read more

例を使ってSnowflakeストアドプロシージャを学びましょう

Image by Gerd Altmann from Pixabay データベースの操作において、反復的なタスクや複雑なロジックの実行は、時間と労力を要する作業になりがちです。Snowflakeストアドプロシージャは、こうした課題を解決するための強力な機能であり、SQLクエリを拡張して、より効率的かつ安全なデータ処理を実現します。 本稿では、Snowflakeストアドプロシージャの基本的な概念から、JavaScript、Python、そしてSnowflake Scripting (SQL)といった複数のプログラミング言語を使った作成方法、さらにはセキュリティ対策まで、実践的な知識を提供します。 小売業におけるキャンペーン管理を例に、県名に応じてキャンペーン情報と割引率を一括更新するストアドプロシージャを実装します。 ストアドプロシージャと言うのは ストアドプロシージャを関数の一つ種類と考えてもいいです。ストアドプロシージャを記述して、 SQL を実行する手続き型コードでシステムを拡張できます。ストアドプロシージャを作成すると、何度でも再利用できます。 値を明示的に返すことが許可されていますが、必須ではないです。ストアドプロシージャを実行するロールの権限だけではなく、プロシージャを所有するロールの権限でも実行出来ます。 サポートされている言語: Java JavaScript Python Scala Snowflake Scripting (SQL) ストアドプロシージャの形： CREATE OR REPLACE PROCEDURE プロシージャ名(arguments argumentsのタイプ) RETURNS レターんタイプ LANGUAGE 言語 -- (例:python, JavaScript等) -- RUNTIME_VERSION = '3.8' (言語がpython, java, scalaなら必要 ) -- PACKAGES = ('snowflake-snowpark-python') (言語がpython, java, scalaなら必要 ) -- HANDLER = 'run' (言語がpython, java, scalaなら必要 ) EXECUTE AS ...
Post a Comment
Read more

Snowflake Load History vs Copy History: 7 differences

Image by Icons8_team from Pixabay Tracking data loads in Snowflake is crucial to maintaining data health and performance. Load History and Copy History are features that provide valuable information about past data loads. Understanding these features can help you efficiently troubleshoot, audit, and analyze performance. You might be wondering why two functions exist to achieve the same goal, what are the differences, which one I am supposed to use and when? In this article we will provide you with all the answers. So, let's learn what are the differences and when to use which! Load History vs Copy History: 7 differences Differences 1 and 2: views vs table function and Account Usage vs information Schema Here things get little confusing, bare with me, there are two Load History views, a view that belongs to Information Schema and a view that belongs to Account Usage schema . As for Copy History, there are Copy History table function of Information schema and a Copy H...
Post a Comment
Read more

WinMerge のセットアップと使う方

WinMerge は、Windows 用のオープン ソースの差分およびマージ ツールです。WinMerge は、フォルダーとファイルの両方を比較し、違いを理解して扱いやすい視覚的なテキスト形式で表示します。この記事でWinMerge のセットアップと使う方を教えます。 source: https://winmerge.org WinMerge をダウンロード WinMerge のウェブサイト に行って、「WinMerge-2.16.44-x64-Setup.exe」ボタンを押し、WinMerge 2.16 をダウンロードしてください。 WinMerge をインストール ダウンロードされたソフトウェアをクリックし、ポップアップ画面で「Next」を押してください 「Languages」部分をスクロールダウンし、「Japanese menus and dialogs」を選択し、「Next」ボタンを押してください ターミナル等からも WinMerge をアクセス出来ようにする為に「Add WinMerge folder to your system path」オプションを選択し、希望によって他のオプション選択してください 「Enable Explorer context menu Integration」オプションを選択したら、フォルダ／ファイルを右キリックし、コンテクストメニューから WinMerge を開くようになります。 「Install」ボタンを押し、「Next」ボタンを押し、その後、「Finish」ボタンを押してください 言語を日本語にする もし WinMerge の言語が日本語じゃなくて、英語なら、「Edit」タブから「Options」を押してください。 ポップアップ画面で右側の下にある「Languages」と言うドロップダウンメニューから日本語を選択し、「OK」ボタンを押してください WinMerge を使う方 「ファイル」タッブから「開く」を押し 参照ボタンを押し、比較したいフォルダ・ファイルを指定 比較したいフォルダを指定する方法: ポップアップ画面から対象のフォルダーを選択し、「Open」を押してくだい 何も選択しないで、「Open」を押してくだい 右側下にある「比較」ボタンを押し ...
Post a Comment
Read more

From Generic to Genius: Fine-tuning LLMs for Superior Accuracy in Snowflake

TL;DR: Cortex Fine-tuning is a fully managed service that lets you fine-tune popular LLMs using your data, all within Snowflake. While large language models (LLMs) are revolutionizing various fields, their "out-of-the-box" capabilities might not always align perfectly with your specific needs. This is where the power of fine-tuning comes into play. As it will be explained in this article, this feature empowers you to take a base LLM and customize it to excel in your particular domain. Here's the brief summary of why you might want to leverage Snowflake's fine-tuning capabilities: Unlocking Domain Expertise : Pre-trained LLMs are trained on massive, general datasets. Fine-tuning allows you to build upon this foundation and train the LLM further using data specific to your field, such as legal documents, medical records, or financial data. This empowers the LLM to understand complex terminology and patterns unique to your domain, leading to more accurate a...
Post a Comment
Read more

Streamline Your Workflow: Send Snowflake Alerts to Slack

Do you know integrating Snowflake and Slack can make your life as a data engineer much easier?  Here's why: Real-time error catching and debugging : Instead of constantly checking logs for errors, you can set up Snowflake to automatically ping you in a Slack channel when something goes wrong. This is like having a dedicated assistant who watches for errors in your code and immediately lets you know so you can fix them faster. This is achieved through the use of webhooks, which are essentially automated HTTP requests that Snowflake sends to Slack when triggered by an event. Keep everyone in the loop : Slack integration also means you can keep your entire team informed about the status of data pipelines and other processes. You can configure Snowflake to send notifications to a shared channel whenever a pipeline completes, fails, or encounters an issue. This keeps everyone on the same page and avoids unnecessary status update meetings. This integration turns Slack ...
Post a Comment
Read more

SQLFluff入門：SQLコードをクリーンかつエラーフリーに

コードを書いた後に実行したとき、エラーが発生するとイライラします。さらに厄介なのは、そのエラーの原因が分からないときです。また、複数のメンバーがいる大規模なプロジェクトでは、メンバーごとにコードの書き方が異なる傾向があり、その結果、コードレビューが難しくなり、ソースコードに不整合が生じます。コードを実行する前にエラーを検出できた方が良いと思いませんか？さらに、チームメンバー全員が同じフォーマットでコードを書けば、もっと効率的になるでしょう。 SQLFluffと言うツールがこの全ての事を実現させます。 SQLFluffは何でしょう？ SQLFluffは、SQLファイル用の最も人気のあるリンターです。構文エラーを検出すると、そのエラーが発生した行番号や位置、エラーの原因が表示されます。SQLFluffはエラーの検出だけでなく、SQLコードのフォーマットや構文エラーの修正も可能です。PostgreSQL、MySQL、Google BigQuery、Snowflakeなど、複数の SQL 言語 をサポートしています。つまり、SQLコードを実行する前に構文エラーを検出・修正できるので、非常に役立ち、重要な作業に集中することができます。また、SQLFluffは非常に設定が簡単で、コンマの位置、文字の大文字小文字、インデントなどのルールを簡単に設定できます。 エンジニアは自分のパソコンにSQLFluffをインストールし、SQLFluffを利用してコードのエラーを検出・修正した後にGitにコミットし、GitLabやGitHubなどにプッシュすることをお勧めします。 全てのドキュメントはこちらにあります : Docs 。 インストール SQLFluff は以下のようにインストールできます VSCode エクステンション プリコミットフック コマンドラインツール CI/CDパイプラインツール SQLFluffをコマンドラインツールとして設定し、実行してくださいのが一番簡単です。また、この記事でプレコミットフックとしての使い方も説明します。 SQLFluffをコマンドラインツールとしてインストール 注意点： SQLFluffをインストールするにはPythonとpip (またはpoetryやpipenvなどのパッケージマネージャ)が必要です。この...
Post a Comment
Read more