Tech | Democratizing Data

3 configs add recommend articles into your Hugo blog by GitHub Actions

Tue, 25 Jan 2022 19:37:52 -0800

Hugo has a feature to show keyword based related articles.

Yeah, keyword based articles might be useful, for people who can manage keyword, category, etc, constantly. I’d love to add content based recommendation that doesn’t require to write explicit keywords by myself. Then, I found an open source named “Prelims” which is developed by takuti.

Prelims is a post-processing tool for Front matter of Hugo/Jekyll, that is a metadata of an article. The recommendation method which is implemented for now is classical, create a TF-IDF based word vector and find similar articles by consign similarity.

The reason why I love Prelims is it’s simple and flexible. Post-processing of front matter doesn’t break your articles nor blog system at all. You can remove extra meta data Prelims generated whenever you want.

Isn’t it practical, right?

One downside of Prelims is it requires to implement Python code for tokenizing or vectorizing TF-IDF. I don’t want to bring my laptop for blog writing and wanna use Netlify CMS and iPad without having Python environment.

So, I built a CLI tool for Prelims, named prelims-cli, which enables to add recommended articles just writing 1 configuration YAML file. It also runs with GitHub Actions.

The three things you need to prepare are:

Configuration YAML file for prelims-cli. e.g., scripts/config/myconfig.yaml
Hugo HTML partial layout, e.g., layouts/partials/page_related.html
GitHub Actions workflow for prelims-cli

Here is the example gist what you need to write.

where content/blog is the directory for English articles and content/post is the directory for Japanese articles.

Putting three files enables you to show recommended articles into your Hugo blog, like the screenshot in the top of this article.

Internally, for Japanese tokenization, it uses SudachiPy. Since keywords prelims generates are a-bit noisy and didn’t wanted to cleanup, so I stopped using it.

The good things I feel are, I can use my blog articles for my hobby recommendation project, and I don’t need to manage tags and categories seriously.

You can enjoy your recommendation without having Python environment, so you can write your articles on iPad with Netlify CMS!

3ファイル追加してGitHub ActionsでHugoにレコメンド記事を表示する

Tue, 25 Jan 2022 18:41:33 -0800

こんにちは、早いものでもう40の大台が迫ってくる誕生日を迎えました。前日にブースターショットを打ったので、一日中ほとんど寝込んでいました。必要な人のために、例のリストを置いておきます。

さて、Hugoにはキーワードベースの関連記事の表示をする機能があります。

しかし、キーワードベースの関連記事も悪くはないのですが、折角なので自分で関連記事のレコメンドをしてみたくないですか？そう思っていたら、 takuti さんの Prelims というオープンソースを見つけました。

Prelimsは、Hugo（やJekyll）のFront matterと呼ばれるメタデータの部分にキーワードやレコメンド記事を足してくれるものになります。

レコメンドの方式自体は、今実装されているのは古典的なTF-IDFを用いたコンテンツベースの類似文書を出してくる方式ですが、Front matterを後から処理してレコメンド記事を追加するというシンプルだけどスマートな方法に感銘を受けました。

ただし、Prelimsはflexibilityを重視しているため、例えば日本語のtokenizerやstop wordsなどは自分で設定をする必要があります。

このあたり、ちょっと慣れていないと難しいかなとも思ったので、prelims-cliというCLIツールを作り、config用のYAMLファイルを用意すればGitHub Actionsでrecommendできるようにしました。

用意するものは以下の3つです。

prelims-cli用の scripts/config/myconfig.yaml
関連ページを表示する layouts/partials/page_related.html
prelims-cliを実行する GitHub Actions

実際の例をgistに貼りました。

myconfig.yaml については、 content/blog が英語の content/post が日本語の記事をおいている想定です。この3つのファイルを追加すればHugoであれば関連記事が、冒頭の画像のように出てくるはずです。

内部的には日本語のtokenizerはSuachiPyのfull辞書を使い、最も長いCモードで形態素単位を設定しています。ただし、prelimsが生成する keywords は少しノイジーだなと思ったので、自分のサイトでは recommendations のみを利用しています。

僕はものぐさなので、タグやカテゴリを豆にメンテナンスできないのですが、レコメンドのおかげで過去の関連記事のリンクも出せるので便利だと感じています。また、自分の記事は自分の持ち物なので、それに対してレコメンドしてML的なsandboxとして遊ぶのは楽しいなと感じています。

この環境を使うことで、Netlify CMSでの執筆等Python環境を用意することができないところでも執筆して、レコメンド記事を作成することができます。もしよければ、 prelims を使ったレコメンドを試してみてください。

メッシュWiFiが安定しないので有線LANを張り巡らせたんだが

Fri, 11 Dec 2020 00:00:00 +0900

このお話は、pyspaアドベントカレンダーの11日目です。昨日はwozozoでした。多分彼はこの記事をチラ見して「長過ぎる。地雷乙」と言うでしょう。

3階建ての家でインターネットを安定させるために、NETGEARのOrbiというメッシュWiFiを構築していたのだが、どうにも調子が悪いので有線LANを張り巡らせました。これはその奮闘記です。なお、筆者はネットワーク系は素人なので用語などが不正確な場合がありますががあしからず。あと、面倒なので以降語尾はですます調じゃなくなります。

メッシュWiFi購入

事前にメッシュWiFIを色々調べたが、どうもNETGEARのOrbiが良いらしいという話を聞いていた。NETGEARが素晴らしいのは購入前にこういう環境だけどどのモデルを買えば良いのか？という相談をできること。これは素晴らしい。当時WiFi-6対応のモデルは出ておらずでかい筐体のOrbiと日本向けの小さいOrbi Microの二種類が出ていたのでどちらを何台買えば良いのかわからなかった。

電話でこういう環境でこれくらいの広さなんだけどと言うと、「3階建ての場合はOrbiを3台です。これ以外ありません」とサポートの人が自身を持って答えてくれた。へー、そうなんだ。Microの方が安いしそこまで広くないからそれでいいかなと思っていたけど餅は餅屋だ。そう思ってOrbiをサテライト2台付きの3台セットを購入した。

設置した当初は、うおおお無線LAN速い！安定する！と喜んでいたが、よくよく設置して調べてみると1台で全部屋カバーしてるじゃん。まあいいか、一応レスポンス良くなるし。と思いながら、サテライト1台は封印することに。

しかし、その時はまだ地獄の始まりだということを知らなかった。

フルWFHのはじまり

例によって全面的なWFHが2月から始まって、テレカンをする機会が激増した。すると、なんか無線LANが遅いことに気づいた。OrbiはIIJmioひかりが使っているDS-Liteこそ対応してないが、IPoEオプションをオンにしてみるもまだ遅い。色々と切り分けてみると、Orbiの設置場所を変えたときにNTTの終端装置とOrbi間のLANケーブルを変更したのだが、その時に古いケーブルを指したらCat 5eでも有線LANの速度が全然出ていなかった。ケーブルって劣化するんだ…。

引っ越してから速度が出なかったインターネット、HGWと無線ルータの間のケーブル交換したら90Mから400M出るようになった。古いLANケーブルは捨てた方がいいというのが今日の学びです
— Aki Ariga (@chezou) March 10, 2020

それでも、どうも夕方特定の時間帯のテレカンが途中で途切れる減少に気づいた。あと、ちょいちょい深夜にサテライトがピンクの光を発して落ちている（のをSynologyのNASの疎通確認が落ちたメールで気づいた）。

夕方といえば、電子レンジじゃないか。NTTの終端装置が置かれた2階にOrbi本体を設置し、1階の作業部屋のサテライトに飛ばしているのだが、すこし距離があるため2.4GHz帯を使ってサテライトとの通信をしているぽいぞ。あれ、5GHz帯のバックホールとは一体…。この辺からwozozoから「また地雷踏んだの」と言われる日々が続いた。

ともあれ、これが続くようでは仕事に支障をきたす。Orbiには幸い有線バックホールという親機とサテライト間を有線でつないでメッシュをより安定させる機能があることは知っていた。そんな折、太田さんのこの記事を見て書いた感想からお墨付きをもらったので有線LAN工事をする決意を固める。

UniFiで自宅に巨大スタジアム並のエンタープライズWiFi環境を整えた | Moratorium

それが出来るなら、1番良いです。この状況下、たぶん投資価値ありますw
— Kazuki Ohta (@kzk_mover) August 20, 2020

有線LAN工事をする

いろいろ調べて、ウェブソフトさんという会社を選んだ。

WI-FI　つながらない、WI-FI　届かない、WI-FI　不安定、WI-FI　遅い、等がありましたら、ご相談ください。家庭内lan、個人のlan工事、LAN配線、LAN配線工事、ウェブソフト株式会社。

ポイントは以下の3つ

Cat 6aに対応していることをサイトで明示していた
Webで依頼した仮見積もりの詳細をメールで返信してくれた（他社は電話でまくしたてるように返してきた）
値段も妥当な範囲だった

今サイトを見るとHTTPSじゃないし懐かしい感じのサイトだが、見積もりや対応含めて良さそうだなと思ったのでお願いすることにした。

事前にわかっていたのだが、我が家には壁コンセントの裏にCD管という壁内を通す管がほとんどなかった。「ほとんど」というのは2階と3階にはついていたが、肝心の2階と1階にはなかったため、壁に穴を開けて屋外配線をすることにした。

壁のLANコンセント

TVのアンテナはないのにアンテナ線だけ張り巡らされていたが、壁からCAT 6aが生えてきた

工事の結果こうなった。めでたしめでたし、かに思えたが…。

有線LANの工事して引き回したら730Mbps出るようになった。無線LANもOrbiの有線バックホール有効になって速くなり360Mbpsが安定して出るように。マイクもLANも有線は正義 pic.twitter.com/JL6nOFsU5D
— Aki Ariga (@chezou) August 28, 2020

不安定な有線バックホールとの戦い

しばらく安定したかのように見えたのだが、まだ一つ謎の現象が残っていた。

ちょいちょい深夜にサテライトがピンクの光を発して落ちている（のをSynologyのNASの疎通確認が落ちたメールで気づいた）

そう、これがまだ続くのである。

正確には朝起きると1階のOrbiサテライトがピンクの光を発して死んでいるのである。定期的にネットワークのトラブルシュートからスタートする一日は非常にストレスフルだった。大体、西海岸の人々とやり取りするため朝8時台からテレカンが入っているのだ。朝ご飯の準備をしながら子供の面倒を見てインターネットの面倒も見る。さらに寝てる間のメンションも見る。どう見てもキャパオーバーである。

NETGEARのサポートに問い合わせても、Orbi一式を初期化してください、と言われそれでなんか復活した雰囲気、みたいなのを繰り返していた。

そうした時にMLSEのオンラインカンファレンス配信担当をする日の朝に事件が起きた。

オンラインカンファレンス当日の朝にOrbiのサテライトがネットつながらなくなるのウケる
— Aki Ariga (@chezou) November 6, 2020

もう耐えかねて、有線バックホールなのになぜ死ぬ、と思いながら1階のOrbiに有線でぶら下がっている端末を全部物理のHUBに切り替えて、Orbi自体の有線バックホールを使わないようにした。

ひとまずこれでカンファレンスは凌いだものの、数日したらまさかの現象が発生した。

悪さをする端末の特定

こんどは朝起きたらOrbi親機もピンク色になっているのである。OrbiやNTTの終端装置も再起動をするも、翌日になるとまた再発するというのを2日繰り返した。大体寝る前に見つけてOrbiの再起動をしていたのだが、2日目の朝には再起動をしてもネットワークがつながらない。切り分けてみると、そもそも有線LANで接続したNTTのルータにもpingが通らないしIP直接叩いても反応がない。

うーん、と思ってやたらランプが点滅してる経路があるなということで追いかけてみると、そこには会社のMBPがいた。試しにそいつ（につながっているThinkPadのType-Cのドック）につながっているLANケーブルを抜いてみた。

戻った。不安定だったのが嘘のように戻ったのである。NTTのルータにもすぐに接続ができるようになった。

ははーん、過去の親会社のVPNソフトが悪さをして1Mbpsとかしかでなくなる罠にハマったので、会社のMacでなにかやんちゃなソフトウェアが動いているに違いない、と思い調べた。案の定、Code42とかいうバックアップソフトのLAN側の帯域を制限したらだいぶ安定するようになった。どうやらこのソフト（だけではないのかもしれないが）、スリープ時とアクティブなときとで帯域制限が違う値が設定できるのだが、スリープに入るとものすごい勢いで通信をしていたらしい。そりゃ昼間に気づかないわけだ。加えて、ThinPadのType-CドックはUSB接続のLANアダプターとは違い、ACアダプターで給電していてそれはもうすこぶる安定している。熱でやられて速度が遅くなったりしないのだ。ThinkPad Type-Cドックはいいぞ。というわけで、安定して通信をすることを許していたらしい。

会社のMBPは、夜電源を抜くと翌朝再起動しないと起動しない呪いにかかっていたためドックに繋ぎっぱなしにしていたのである。それが裏目に出た。

なお、今は帯域制限してもなんか怪しい気がしたので、ドックから有線LANを抜く運用にしている（ドックとは！ちなみに、okapisさんによるとLinuxでドックがものすごいパケットを送るケースがあるらしいのでドックの可能性もあるかもしれない…。なお、会社のITの人も有線LANは夜にぬけと言っていました）

おかげで今はすこぶる調子が良い。

天井の配線

ついでに天井にも有線LANの配線をした。

Key takeaways

本文に書いたものも書かなかったものも学びとして。

有線LANのケーブルは腐るので古いものは捨てよ
iPhoneやiPad, PCは買い換えると無線LANの規格が新しくなってそれだけで速度向上が見込める
ボトルネックの切り分けのために有線LANポート内蔵のPCはあったほうが良い
会社の端末固有の問題か切り分けるために同じOSの端末でABテストをできると良い
最適化を繰り返すとボトルネックが移動する（ので、逐次潰していく）

最後に、友人からのありがたい言葉を貼っておく。

安易に安定を求めて裏切られるの味わい深いですな。カオスエンジニアリングを讃えよという神のお告げでは。
— Kiyoshi Mizumaru (@kmizumar) November 19, 2020

明日はねじです。

インターネット