Sql | Democratizing Data

Create data lineage from Trino/Hive queries in digdag log with Python

Thu, 05 May 2022 20:31:05 -0700

What’s data lineage?

Data lineage is something to describe “Where this data comes from and where it goes?”

I learned this term in my previous job. They provided “Cloudera Navigator” which includes data lineage from execution logs of Hive/Spark etc.

lineage of Cloudera Navigator via https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cn_lineage_generation.html

sqllineage is awesome open source tool for visualizing lineage

Recently, I learned there is a Python package so called sqllinage, that makes analyze and visualize data lineage from SQLs.

sqllineage consists of Python implementation to analyze SQL and web application written in React.

Visualize data lineage from Treasure Data’s workflow logs

I found that Treasure Data’s workflow log outputs SQLs in its log. But it still needs to format pure SQLs.

Then, I create digdaglog2sql to extract SQLs from Treasure Workflow logs.

You can use it with Python 3.7+. Here is the overview of the usage and check details on GitHub.

Install via pip:

pip install --user digdaglog2sql

If you have a workflow log downloaded from Treasure Data, you can convert into SQL as:

digdaglog2sql --input workflow-log.txt --output output.sql

Or, if you want extract SQLs from specific workflow, you can use Session ID of it.

export TD_API_KEY=1234XXX/YYYYYYYY
digdaglog2sql --session-id 12345 --site us --output output.sql

You can fetch SQLs from your hosted digdag as the following:

digdaglog2sql --session-id 12345 --endpoint digdag.example.com --output output.sql

~~Note that, as of May 5, 2022, sqllineage and sqlparse, which is an important backend of sqllineage, are not fully compatible with Trino and Hive queries.~~

As of 2022/05/11, the issues in sqllineage around Hive/Trino were fixed and it is available in 1.3.5 on PyPI. It means, you don’t have to have node for sqllineage installation from source.

As of 2022/10/06, the issue in sqlparse was resolved in 0.4.3.

~~These are the PRs that approaches the issues:~~

✅ https://github.com/reata/sqllineage/pull/252 -> Released in 1.3.5
✅ https://github.com/reata/sqllineage/pull/255 -> Released in 1.3.5
✅ https://github.com/andialbrecht/sqlparse/pull/662 -> Released in 0.4.3
✅ https://github.com/andialbrecht/sqlparse/pull/664 -> Released in 0.4.3

~~Don’t worry about it. I prepared patched branches on GitHub. You can install sqllineage and sqlparse as the following:~~

pip install git+https://github.com/chezou/sqlparse.git@trino#egg=sqlparse==0.4.3.dev0
pip install sqllineage

~~If you see some error on installation of sqllineage, double-check if you have node installed.~~

Then, you can visualize your SQL file as:

$ sqllineage -g -f output.sql
 * SQLLineage Running on http://localhost:5000/?f=output.sql

Now you can see visualization of data linage, both table level and column level.

SQL lineageの例

Let’s try sqllineage!

sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた

Thu, 05 May 2022 19:58:10 -0700

データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴」とも呼ばれる情報です。

自分がこの言葉を知ったのは、前職でCloudera Navigatorという製品を扱ったときにこの機能が実装されていることを知りました。引き継いだ複雑なSQLなどのワークフローを渡されたときに、どういう流れになっているのかを可視化できるのがとても魅力でした。

Cloudera Navigatorのlineage。 https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cn_lineage_generation.html より

そんなlineageですが、Pythonの sqllineage というパッケージで分析・可視化できることを知りました。

sqllineage は Pythonで実装されているSQLのlinegaeを解析する部分と、Reactで実装された可視化のウェブアプリケーション sqllineagejs で成り立っています。

実は去年ぐらいにちらほら使っている人がいたのは後から知りました。

これを使ってTreasure Dataのデータの流れの可視化をしてみたいと思ったのですが、TDではちょうどworkflowエンジンのdigdagのログに実行されたSQLが書かれているのに気づきました。

そこで、digdagのTDのSQLを実行する td>, td_ddl> オペレータからSQLを抽出・変換するコマンド、 digdaglog2sql を作り、可視化をしてみました。

詳しい使い方は、GitHubを見ていただければと思いますが、Python 3.7以上が入っている環境であれば、pipで簡単にインストールできます。

pip install --user digdaglog2sql

TDからダウンロードしてきたワークフローのログがあれば、そこからSQLを抽出して保存できます。

digdaglog2sql --input workflow-log.txt --output output.sql

また、ワークフローのSession IDを指定すれば、そこからSQLに変換した結果を保存できます。

export TD_API_KEY=1234XXX/YYYYYYYY
digdaglog2sql --session-id 12345 --site us --output output.sql

また、endpointオプションを使えば自前でホストしたdigdagからもSQLを取得できます。

digdaglog2sql --session-id 12345 --endpoint digdag.example.com --output output.sql

注意点としては、2022/05/05現在のPyPIにある sqllineage とその裏側で依存している sqlparse の最新バージョンでは、 Trino やHiveなどの一部の機能がうまくColumnレベルのlineageの解析ができません。

2022/05/11 現在、sqllineageの Hive, Trino に関する問題は修正され 1.3.5 でリリースされました。これに伴い、sqllineageをsourceからインストールする際に必要だったnodeも不要になりました。

2022/10/06 sqlparseの 0.4.3 もリリースされたので　upstreamの修正はすべて反映されました。

~~今、Pull Requestを出しているところなので、これらがリリースされれば解決されると思います。~~

✅ https://github.com/reata/sqllineage/pull/252 -> 1.3.5 でリリース済み
✅ https://github.com/reata/sqllineage/pull/255 -> 1.3.5 でリリース済み
✅ https://github.com/andialbrecht/sqlparse/pull/662 -> 0.4.3 でリリース済み
✅ https://github.com/andialbrecht/sqlparse/pull/664 -> 0.4.3 でリリース済み

~~ひとまず、パッチを当てたbranchをGitHubに用意したので、 nodeをインストールした環境で以下のようにインストールしてください。~~

pip install git+https://github.com/chezou/sqlparse.git@trino#egg=sqlparse==0.4.3.dev0
pip install sqllineage

sqllineageをインストールした後は、出力したSQLファイルを指定すれば、可視化できます。

$ sqllineage -g -f output.sql
 * SQLLineage Running on http://localhost:5000/?f=output.sql

ブラウザを開けば、このようなColumnレベルやテーブルレベルの lineage が作成でき、拡大縮小もしながら眺められます。

SQL lineageの例

ぜひ、試してみてください。