Gyoukou撤去されます(挨拶

http://www.exascaler.co.jp/wp-content/uploads/2018/04/20180413-ExaScaler-PressRelease-Gyoukou.pdf

詳細。

さて、一度関係を整理しておこう。
そもそも、Gyoukouというのは、エクサスケーラーがJST(覚えてろ文科省) から融資を受け、JAMSTECに設置したスーパーコンピュータである。
JAMSTEC側としては、「地球シミュレータ棟の場所を貸している」という以上のことはないので、特にこれに関する技術的な考察というのはないと考えられる。つまり、彼らの言い分としては、「え、あのプロジェクト中止になったの? だったら地球シミュレータ棟貸してる意味なくね? とりあえず出てけや」以上のことはないと考えられる。(あくまで現状を見ての推測である。個人の感想ですってば!!)

ネットをみていると、なにやらGyoukouはTCIの開発が中止になったから撤去されるんだとかコスパが悪いから撤去されるんだとかあれこれという話が飛び交っているが、まぁ、大体が根も葉も無い話だし、そもそもTCIの開発が中止になったとかどこから出た情報だよとかそういうのがあるワケだが、いい加減このTCIのせいで矢面に立たされるのもげんなりしてので、そろそろまともに動いたという話を外部に出したいものである。いや、知らんけど。

とりあえず明確にバカジャネーノと思ったものがあったので、
https://anond.hatelabo.jp/20180414173927

について、ちょっとだけ書いておこうと思う。

> 答えを先に書くと、運用のコスパが悪いからだ。

お前が何を知ってるんじゃ…とか言いたくなるが、さておき。
そもそも、

公式発表では、スパコン本体の消費電力は1.35メガワットということになっているが、

http://www.jamstec.go.jp/j/about/press_release/20171114/

日経の報道では全体で5メガワットとなっている。3倍の平木がある。

https://twitter.com/SatoshiMasutani/status/984702237019533313

その差は、冷却分の電力にあると考えてよい。

というのは、カタログ値と実測値を混同した結果なわけで、「自分はその程度の違いもわかりません」みたいなアホアピールに他ならないのである。
5MWというのは、冷却器を含む全てがカタログ値で動作した時に取りうる値なので、当然のことながら実測値はそれを大きく下回る。それぐらいちょっと考えればわかるでしょ!!
というだけだとあれなので、Gyoukouのカタログ値を分析してみようと思う。

まず、SC2の消費電力…はちゃんと載ってるところないな…まったくもう…なんでWikichipのほうが公式より詳しいんだよブツブツ…
https://en.wikichip.org/wiki/pezy/pezy-scx/pezy-sc2

…まぁ流石にここに載ってるのはちょっと低い気がする。なので、1個200Wで見積もろう。というか、あの某社長の怪しい資料には200Wと記載されていたはずだ。
1ブリックには32個のSC2モジュールが搭載されている。それと4個のXeonDモジュールである。XeonDはD-1571で、こいつの消費電力は45W
https://ark.intel.com/ja/products/93355/Intel-Xeon-Processor-D-1571-24M-Cache-1_30-GHz
それにコントロール用のあれこれが付随していて、こいつがめちゃくちゃ電力を食うんだ全くもって…いやはや…あ、PCIeのスイッチのことなんだけどさ…で、トータル1.5kW上乗せ。

とすると、ブリックあたりの消費電力は
32 * 200 + 45 * 4 + 1500 = 8080W = 8.08kWになる。
んで、ブリックはタンクあたり16個入っているので、
8.08 * 16 = 129kW

今はタンクが26個あるので、
129 * 16 = 3361kW = 3.3MW

これにInfiniband用のスイッチを加えたり(2個/タンク + ディレクタースイッチがいくつか)、ポンプを入れたりすると…どれぐらいだろう。正確な数字はもってないが、大体4.xMWぐらいじゃないだろうか…
いずれにせよカタログ値の6割強は計算に使われているワケである。
つまり、Gyoukouは計算のほうでもそもそも3.3MWの設計値のうち、1.3MWしか使われていないので、あと倍ぐらいは消費電力的に余裕があることになる。まぁそれはSC2が設計値1GHzのところを700MHzで動かしているからとかいう事情があったりなかったりするのだが、消費電力って綺麗にリニアにスケールするワケじゃないからまぁその辺についてはちょっとここでは考えないようにしたい。というかトラウマが…

え?4割前後が冷却に突っ込まれてるのはコスパ悪いんじゃないかって?
うーん、そうだねえ、じゃあPUEでググって来てくれるかな。うん。

…でも多分、正確な数字かき集めても5MWにはいかないと思うから、あのシステムは多分もう少し冷却側の電力低いと思うんだよなぁ…
そうか、わかったぞ。その差は平木先生が食っているんだ!
>3倍の平木がある。

…すいません>関係者各位

ついき
Green500のルールについては、PEZYが全く関係ない文脈で書こうと思う。

というか、Top500に申請するということ、について?

どうもこんばんわ。
FF14のシャキ待ちの間にこれを書いています。いやぁ零式三層シャキらねーことシャキらねーこと。

さて、イスラエルハイテクベンチャーCEO(こういう書き方してるとそれはそれでイスラエルへの風評被害な気がして方々のみなさま若干申し訳ありません感があります) ですが…なんか進展がありました。
彼らの中の人なんじゃないかと睨んでいる大崎勝彦氏ですが、彼の会社であるところのケレム・サイエンス、またはケレム・ソリューションズという会社のサイト、先日、2017/12/11時点ではまだ存在していたことを確認したワケですが、2018/03/07時点で、なんと色々消えていることが発覚しました。

http://www.kerem.co.jp/japanese_index.html

コレね。

職場でニコニコしながら同僚と一緒にwhoisしてみた結果は以下。

Domain Information: [ドメイン情報]
a. [ドメイン名] KEREM.CO.JP
e. [そしきめい] かぶしきかいしゃぱいおにあせきゅりてぃー
f. [組織名] 株式会社パイオニアセキュリティー
g. [Organization] Pioneer Security Co., Ltd.
k. [組織種別] 株式会社
l. [Organization Type] Company
m. [登録担当者] KO17335JP
Contact Information: [担当者情報]
a. [JPNICハンドル] KO17335JP
b. [氏名] 大崎 勝彦
c. [Last, First] Ohsaki, Katsuhiko
d. [電子メイル] kohsaki@ieee.org
f. [組織名] 株式会社パイオニアセキュリティー
g. [Organization] Pioneer Security Co., Ltd.
k. [部署] 滋賀基礎研究所
l. [Division] Shiga Research Lab.
m. [肩書] CTO兼滋賀基礎研究所長
n. [Title] CTO & Director of Shiga Research Lab.
[最終更新] 2012/10/31 13:41:37 (JST)
form@dom.jprs.jp

さて、また新キャラの株式会社パイオニアセキュリティーなるものが出てきたワケですけれども、一体なんでしょうねえこれは。
ググると出てくるのは千葉県銚子の会社。
http://pioneersecurity.jp/

一見関係なさそうに見えたんですが…

あっ(察し


……やめよかこの話。

というわけで本題です。
イスラエルハイテクベンチャーCEOに見る自己矛盾の話。

https://blog.goo.ne.jp/narmuqym/e/344aba0792d6bb1c28f787532870effc

理研の計算科学研究機構は、(1)ポスト「京」の開発主体として、その開発・整備を進めており、2020年頃からの運用開始を目指すとしていた。「京」で得られた研究成果や技術、運用経験を活かしながら、汎用性のある世界最高水準のシステムを、アプリケーションと協調的に開発するという趣旨である。それを、所謂、「京コンピュータの次世代スパコンを開発するFlagship 2020プロジェクト」と呼称し、Post-Kと呼ばれるスパコンの開発が行われている。このPost-Kコンピュータについて、理化学研究所(理研)で開催された「New Horizons of Computational Science with Heterogeneous Many-Core Processors February 27-28, 2018」と題するワークショップでの発表の概要を以下に記す。

まぁ、そもそもとして、2/27-2/28にあった
https://hetero-manycore.riken.jp/symposium2018/program/
の存在を、開催するまで触れなかったというのもなんともこのアンテナの低さを物語っているような気がするけども、それはさておき。

大崎勝彦…おっと、この場では一応関係ないんだったっけか…bushido氏だが、Post-Kの前身であるところの京コンピュータの時は、以下の記事群でこんなことを言っている。

https://blog.goo.ne.jp/narmuqym/e/bd63b898289d54622c44f87dbd883ff6
https://blog.goo.ne.jp/narmuqym/e/25e6b5f0e8aa278dee7e15c52e1146eb
https://blog.goo.ne.jp/narmuqym/e/cf4c5bf200c111871c5fc34e58b4ee2d
https://blog.goo.ne.jp/narmuqym/e/0848c19abd41e0cd31aaf37edabda6e7
https://blog.goo.ne.jp/narmuqym/e/2284554c2d20c4951205b25c88109fbb
https://blog.goo.ne.jp/narmuqym/e/b2bc43f576d7e9baf138f48228a919c4
https://blog.goo.ne.jp/narmuqym/e/0e81634a1ddeb6abe3b8c6abcc910f88

スーパーコンピューターについてその基幹技術を概観し、日本のスーパーコンピュータープロジェクトの問題点を指摘し、スクラップ&ビルドの必要性を強調している。莫大な納税者の金が無駄に投じられ何らの成果の無い「科学技術研究予算」に意義を唱える。今回はその第五章を紹介し、問題となっている日本の次世代スーパーコンピュータープロジェクトの実体を解剖し、そのオリジナリティー無き物真似の現実を抉り出す。IP貧国日本の産業界の実体が透けて見えるだろう。Interconnection Technology は米国CRAY社の3D−torusの物真似であって、MPUに至っては、米国のSUN(サン)のSPARCオープンアーキテクチャーそのものであって、独自のものではない。

そんなわけで、そもそもとして彼は、京コンピュータに対して懐疑的な立場であったワケだ。にも関わらず、手のひらクルックル回して、京とPost-Kを称賛してPEZY叩きに終始しているワケである。
……というか、この記事群、大崎勝彦が書いたようにしか見えんのだが…

ということで、彼の書いたものがいかに意味がないか、いかに彼の主張が手のひらギュルンギュルン回っているかがお判りいただけるだろう。
ファッション感覚でその時その時の時流に合わせて欧米企業の威光を笠に着て人のこと叩くとはいいご身分の老人もいたもんである。

くわしい人(笑)は知ってるスパコンベンチマーク

人が気持ちよくFF14やって寝ようとしたらクッソむかつくnoteを目撃したので記事を書く。
基本的にムカついた時しかなんか書いてねえな…

https://note.mu/rings

なんかこのユーザーがPEZYの技術的価値を多角的に(笑)検証するみたいな感じにやってるんだけど、基本的に悪意しかなくて草しか生えない今日この頃。

とりあえずこの記事

「くわしい人は知っている.Top500, Green500 の順位はもうスパコン性能の参考にならない」
https://note.mu/rings/n/ne8b5a691940c

は、まぁ、なんというか、そうだね(笑)みたいな感じがある。

実際問題として、「ドンガラ先生が主張しているからTop500には意味がない!」というのは、まぁ、ハナクソでも投げつけてやればいいような意見だと思う。
ドンガラ先生本人がHPCAsiaで、「HPCGの普及をライフワークにする」というような趣旨の発言をしていたわけだけども、だからといってTop500の価値がなくなるかと言えばそんなことはないわけである。
Top500は、「システムが最低限まともに動作しているか?」という指標として十分に機能している。
どういうことかというと

  • 作ったプロセッサで密行列積が実効効率n%出る
  • 作ったシステムで密行列積が実行効率m%出る
  • 作ったシステムが一定負荷(これはmの値に依存する)の状態で一定時間動作する

これは「HPLさえちゃんと動かないスパコンスパコンとしても動かない」という意味であって、スパコンにおいてHPLが走ることは、つまりスタートラインに立ったことと同じことなわけである。

…と、ここまで書いて、「よく考えたらこれロボ太先生が同じこと書いてたわ」ということに気づいたので、
https://gist.github.com/kaityo256/ee7c29859591823d025fce18ccf461ef

を貼って、HPLの有用性だの実用性(笑)については終わりとする。
とりあえずringsとかいうやつはロボ太先生のそれぐらいは読んだんだよね?
詳しい人(笑)は知っている(笑)とかにタイトル変えた方がいいんじゃない?

というか、Top500の性能指標はHPCGでは測れないし、Graphdでも測ることができない。
HPCGとGraphとはなんなのか、といえば、それぞれソフトウェアの特性が異なるベンチマークだ、と答える。
HPCGは何をしているかといえば、端的に言ってしまえばコアな部分は疎行列ベクトル積だ。特性として、メモリのリードでで律速する。
Graph500は何をしているかというと、端的にいうと幅優先探索。これは特性的にネットワークで律速するような挙動を示す。

つまるところ、この三つ、一つだけ取り出して云々いってもあんまり意味がない。
わかってるというのなら、この事実をこそわかっている。

んで、Greenはというと、ちょっと意味合いが異なる。
そもそもGreenが取り上げられているのは、エクサスケールのスパコンの問題はなに?という問題提起からスタートしている。
今までのように規模を大きくして行けばなんとかなるもんなのか? というと、それはノーだ。エクサスケールのスーパーコンピュータは供給電力がそもそも問題になりうるだろう、というのが今の所のTop勢の見解だ。
おそらく20〜30MWぐらいのところで、1ExaFlopsを達成する必要がある。とすると、逆算すれば20MWであれば50GFlops/W, 30であれば33GFlops/Wを達成せねばならない。

というのが前提にあるので、Greenの値に関しては、純粋にこれが大きくなることは、エクサスケールへとまっすぐに近づいていると言える値だ。
いやまぁ、前提となる1ExaFlopsというのは、HPLの計測数値なので、これに意味がないじゃんと言い始めると身も蓋もないのだが。

さて、これらを踏まえてringsとやらのノートを見ると、香ばしい一文がある。

PEZY Computing のスパコン性能を評価するときには,Top500, Green500 の順位は議論の対象から外し,スパコンの技術そのものを評価することが,より良い技術理解につながるのではないでしょうか.

スパコン技術そのものってなによ…みたいな謎フレーズを容赦無く突っ込んでくるあたり、雰囲気でフレーバーテキスト書いてるなろう小説感があって大変香ばしいが……
議論から外すのは大いに結構として、17GFlops/Wという数字(下手にこれ書くと怒られるのだが、これは極限までGreenに特化させた値ではない。なんかそれなりに頑張ったら出たやつ) を無視して「スパコンの技術そのもの」の議論とは、では一体何を論ずるというのか、「スパコンの技術」というのを提示してもらいたいところである。
いやだって、アーキテクチャの話するとなると、消費電力下げるのにかなり頑張ってるしねえ…

あとこの人の全部精査したわけじゃないんだけど、ネコ小脳の話で、「こっちの論文だと規模も速度も上だからネコ小脳の論文に価値なし!」みたいなこと言ってるんだけど、どうみても本文見てると比較対象とされてるやつがネコ大脳のシミュレーションで、なんで大脳と小脳比較してんだろ…みたいな謎が募るんだけど、大丈夫かこれ…

さらにいうのなら、PEZY-SCがスパコンに適切かどうか、というのをkuukaiの事例を取り上げて

このことから,Yahoo! JAPAN は「PEZY Computing のプロセッサはスパコンに不適切だ」と判断したことがわかります.

とか言っているワケだが、まるでYahooさんに聞いてきたかのような口ぶりだなコイツ…

というか、Kuukai導入当時はまだPEZY-SC2はローンチしてなかったので、あの時点ではP100が唯一の選択肢ではあった。まさかあの当時ではすでに2世代前のプロセスのSCを売りつけるわけにも行かないし…
そもそもとして、スパコンに不適切かどうか、というのは、採用されなかったということ一つを取って結論付けられるものではない。自分たちが持ってるワークロードと照らし合わせて、じゃあ全部アーキ入れ替えても問題ないか、というのを検討した上で、これを選ぼうと決定するものであって、その意思決定プロセスなんて、民間企業であれば当然明らかにされるワケないし、所詮は外野の妄想である。それを以ってここまで断定口調で書けるということは、なんというか、イスラエルハイテク某みがあって大変よろしい。

と、色々ツッコミどころ満載すぎるのだが、イスラエルハイテク某とは違い、ぱっと見で普通の文章だから正しいことが書いてあるように見えるが、技術的に明らかな誤りに立脚してPEZYを叩いているので、この存在は週刊新潮やらイスラエルハイテクベンチャーCEOこと大崎勝彦と大して変わらない。
一見あってるように見えるそれっぽい技術ブログというのは最も害悪だと思う。

PEZY

なんかもうこういうタイトルでいいよ…

さて、12月上旬の日本HPC業界をにわかに騒がせているのがこの事件。
PEZY社長逮捕、スパコンの旗手に何が起きたのか

PEZY Computing社の齊藤元章氏が詐欺容疑で逮捕されたというものである。
ここで僕の立場を明らかにしておくと、僕は12/10現在、PEZY Computing社員である。実はSC17のマイナビにも載ったぞ。いぇーい。
まぁあれは頼んで書いてもらった感がありありとするので微妙だが。 Hisa Andoさんありがとうございます!!

というわけで、僕のこの件に関するスタンスは以下。

  • この件の捜査状況、あらゆる疑惑については、その真偽を問わず、基本的にコメントしない
  • NEDO助成金について、事実と反する主張が見られる場合には指摘する
  • 技術的に間違った批判については反論する

である。
今の所それを前提として動いているので、逸脱していることはないと思う。

ところで、なんでこんな風にブログを書いているかというと、こういうのが原因である。

スパコン界『異端児』暗転、詐欺容疑で『PEZY Computing』の社長・斉藤元章容疑者ら逮捕される」
http://blog.goo.ne.jp/narmuqym/e/04536e06db013617fd63ab490159c71f

まぁなんか、またこういうネタかよ、と、半年おきにこういうの書いてる自分のアレさ加減に目を覆いたくなる気がしないでもないが、とりあえず行ってみよう!

齊藤元章素人問題

まぁぶっちゃけた話、社長がどのぐらい技術力あったのか、俺は知らない。
かつて医療系画像処理端末を自分で作っていたという話を聞いたことはあるし、夜な夜なCTとか分解していたのも事実だと聞いている。
(PDP-11で動いてたんだよアレ! とメシを食いながら聞いたことがある)

とはいえ、だ。
PEZY-1, PEZY-SC, PEZY-SC2と三世代のプロセッサを作ってきて、齊藤さんがいまだに第一線で設計しているわけはないし、まして、我が社が誇るハードウェアチームが、素人集団なワケがないことは、改めてここで表明しておきたい。
ウチのチップは、先人たちにも引けを取らない性能を誇るプロセッサであると。
ここで指摘されている(いくつか何言ってんのか全くわからない話があるが…)

命令体形の策定と評価、1ビット問題の最適化、MPUアーキテクチャー上のボトルネックの分析と解消、演算処理データー量及びメモリ転送データー量とのバランス問題、MPUチップ内外のインターコンクション、MUX&DeMUX、データー転送高速化のバッファリング手法の検討、コアの冗長設計とその置換手法、OSのポーティング、コンパイラーの高効率化設計、上位C言語アーキテクチャー&機能記述、マクロ設計及び評価、VLSI機能記述、論理合成検証、不純物分布プロセス・シミュレーションと最適化、物理的マクロ回路設計、回路シミューレーション、チップ上のノイズ伝搬、電源&グランド・バウンシング、スキュー等各種タイミング問題解消、クリティカルパス解消、消費電力による熱的集中の解析と分散化、PLチェッキング、評価チップによるFunctionality及びReliability評価、等など無数の高度で深い仕事がある。

というのは、社内にそれぞれの専門家がいるし、もちろんそれでめちゃくちゃ苦労しているのも横で見てきている。ん?バグが全部出切ったかって? コメントは差し控えますよ。HAHAHA
…まぁOSのポーティングとか、悪夢だったよねえ。やったの俺じゃないけど。
あと、最近のコンパイラっていうのは便利になっててね、LLVMっていうの使うと、一から実装しなくてもよくなるんだ。覚えときなじいさん。
とはいえ、ここは現在のところ、Hotchipsやらなんやら、いわゆる半導体の論文として出ているものがない点というのは心苦しいところでもある。
いずれHotchipsとかに出してほしい、というロビー活動はしていたのだが、まぁいろいろと大人の事情というやつである。ほんとすいません。ありまぁすとかいってます。
ただ、このあたりの数字を詐称して世界4位だの世界1位だのが取れるのだとしたら、我々はあんなに連日終電や徹夜などしていない、とだけお伝えしたい。

あと、なんでこんな

MPUの開発は簡単なものではないことは、IBMのPowerPCに関する論文(電子情報通信学会・特別招待講演論文、大粼勝彦博士発表、Technical Report of IEICE, CPSY94-6, FTS94-6, ICD94-6 (1994-04))に詳しい。

二十年も前のペーパーをわざわざ引用しているのか。もっと新しいのあるだろ。二十年経ったらプロセスルールどれだけ変わると思ってんだ。
http://www.fujitsu.com/downloads/JP/archive/imgjp/jmag/vol63-3/paper04.pdf
とかあるだろ。
…ていうか、なんでMPUとか表記してんの?まぁMicro-processorだから間違いじゃないにせよ、今は全く聞かないなぁ。IBM方言らしいけど。

SC(2)の技術評価の妥当性検証

2017年のスパコンTop500、https://www.top500.org/lists/2017/11/ を例に、スパコンのPMUの性能評価の方法について述べておく。MaxPF値に惑わされてはならぬ。意味が無い。

とりあえず全角数字混ざってる時点で鳥肌立ってやばいのですが、Rmaxには騙されてはいけないらしい。うーむ。RPeakには騙されるなは聞かないでもないが、Rmaxに騙されるなは新説だ。

筆者が着目したスパコンは、NO.3の”Piz Daint - Cray XC50, Xeon E5-2690v3 12C 2.6GHz, Aries interconnect , NVIDIA Tesla P100 , Cray Inc. ”(https://www.top500.org/system/179102)である。MPU群はXeon/Aries/Teslaから成る。その総数は3.65E+5コアである。演算能力は公称19.59PFである。1コア当たりのパフォーマンスを計算する。その値は、MPUの基本演算ユニットの性能を直接的に表現する指標である。順位NO.3のクレイのスパコンはP/C=60GFである。クロック周波数からして、相当に並列同時演算に優れたMPUコアである。

ちょちょっとまってほしい。この段落はツッコミどころが多すぎて、技術的には割と適当なことを言うことに定評のあるぼくちんでも理解に苦しむ。
まず、

1コア当たりのパフォーマンスを計算する。その値は、MPUの基本演算ユニットの性能を直接的に表現する指標である

というのは、2000年代初頭、それこそCell/B.E.(ほんとはその科学技術計算用拡張PowerXCell 8iだが)を主たる演算力として採用した、ロスアラモス国立研究所が擁したRoadrunner以降のTop500においては、もはや意味はない。
だってここ十年のトレンドは、小さなコアを大量に並べて並列処理をして性能を稼ぐ方向にシフトしており、NVIDIA, AMDGPUIntelのKnightsシリーズ(KNHキャンセルになったけどな。ガハハ), PEZYと、全て基本的なアプローチは同様だからだ。

MPU群はXeon/Aries/Teslaから成る

Ariesはインターコネクトなんですけど…MPUの定義が乱れる…

数字の意味に関しては、言っていることがよくわからないので検証しない。そもそもTop500の3.65e5コア数というのの根拠が謎だ。
http://www.cscs.ch/uploads/tx_factsheet/FSPizDaint_2017_EN.pdf
によれば、Piz DaintのHybrid Compute Nodeは5320。それぞれのノードに、12コアのXeonと3584CUDA CoreのP100があるとすると
(12 + 3584) * 5320 = 19130720
だが、そうはなっていない。じゃあSMMの数なのかと思えば
(12 + 3584/32) * 5320 = 659680
そうでもない。
うーむ、わからん。PizDaintの中の人教えてください。

どこをCPUのコア相当としてみるか、そもそもアクセラレータに単純にこの議論を当てはめてよいものか、というのは、この十年一通り議論され尽くして、意味がないという話で落ち着いている(ように見える)。

リストを見て、計算し、直ぐに気付くことは、コア数が1,400万個と途轍もない多さである。「おいおい、何だよ、こりゃ?」

それには俺も同意だが、まぁしょうがないじゃん、命令発行ユニット単位で考えると、SC2ってコア2048(有効なのは1984だが) もあるんだからさ。

P/C=1GFである。PEZY−SC2は700MHzで駆動し、Zeonは1.3GHzで駆動されているが、1コア当たりのパフォーマンスがたったの1GFであるという事は、コア自体の同時実効行効率が他社と比べて非常に低いことを物語る。多重性が殆どない設計だということだ。MIMDを標榜しているが、コアとしてはMIMDになってはいない。

ほぼ毎行ツッコミ入れてないかこれ…なんかだんだん疲れてきたぞ…
まぁ仮に、そのP/Cという指標に意味があるとしてもだ。それはコアあたりのパフォーマンスを意味するのであって、コア自体の同時実行効率という話にはならないだろう。
そもそも多重性ってなんだよ。未定義の言葉を突然なんの脈絡もなく使うなよ。なろう小説かよ。
あと、コアとしてはMIMDになっていない、というが、命令発行ユニットがコアごとに存在していて、それぞれ独立に命令を発行できるという状況であれば、それはMIMDと呼ぶものだろう。他に何と呼べというのか。

PEZY−SC2では、1個当たり64GBのメモリがぶら下がるが、内蔵されているコア数1,984個で除すれば、1コア当たりたったの32MBである。この微小メモリーサイズで、何をやるというのか?

SC2なのかSCなのかはっきりしてくれ…
1コアあたりたったの32MBというが、そもそもとして、各コアがグローバルにアクセスできるメモリ空間をコア数で割ることに何か意味があるのだろうか?
それよりも、1コアに存在する命令キャッシュとデータキャッシュがやたら少ないことと、ローカルメモリが20KBしかなく、うち16KBはデフォルトだと各スレッドのヒープ・スタックで食われることのほうを問題にしてほしい。まぁCUDAのShared Memoryライクに使えるんで、便利なんですけどね。

要するに、単純な回路構成のコアをやたらな数を集積(パターン転写)しただけのMPUである。それを、PEZY Computingは、「メニーコア技術」と自称しているが、コアのアーキテクチャー自体が練られた高度なものではなく、それ自体が素人の発想だ。

NVIDIA「...」(もちろんGPU)
AMD「...」(GPU)
Intel「...」(Knightsシリーズ)
Shenwei「...」(SW26010)
IBM「...」(Cell/B.E.)

今回のキモはここである。
ここ十年、ヘテロジニアスマルチコアというものが研究され、プロセスルールの進捗とともに、良いものも微妙なものもたくさん出てきた。
そのいずれも、基本的な戦略としては、小さなコアを敷き詰めることで行われている。それは、Intelx86, IBMのPOWERのような大艦巨砲主義的なコアは、もはや集積の限界に突入しているというのがあるからだ。
その辺の詳細については、僕よりももっと詳しい人たちがいろいろと話してくれているし、それこそ牧野先生のサイトを見られたほうが絶対に正確な情報が伝わると思うので、そちらを参照してほしい。
とはいえ、その構造がソフトウェアに対して多大な負荷を強いてきたのもまた事実。だからこれは、ムーアの法則末期に咲いた徒花だと思っている。
この人は、そんな愛すべきアーキテクチャたちの何を知っていると言うのか。

いや、多分何も知らんのだろうけど。

あー、すまん、次のパラグラフは普通に頭痛がしたので読むのをやめる。言いたいことが意味不明すぎる。
つまるところ、このセクションは全編に渡って妄想とオカルトが書き連ねられているのである。誰か助けてほしい。割と真剣に。

TCIはオカルトか?

俺が聞きたいよ!!!(切実

という身内ネタはさておき、もともと磁界結合というのは、慶応の黒田先生が研究されているものだ。
http://www.kuroda.elec.keio.ac.jp
それこそ歴史は深く、1980年代ぐらい?90年代ぐらい?から研究されているという。
詳細を把握しているわけではないので簡素に書くけども、これだけ論文が出ていてざまざまな箇所で評価も行われていて、それでもなおオカルトと断じるというのなら、それは数多のレビュアーたちが騙されているということになるし、ジャーナルの権威も失墜する。
つまり、「TCIは、ありまぁす!」

…いかん、これはシャレにならんな。

イスラエルのハイテクベンチャーとは?

さて、長々と書いてきたが、あのブログを書いたのは誰か、というのは、非常に気になるところだ。
ブログのキャプションを参照すれば、

イスラエル・ハイテクベンチャーCEO兼CSの脱&非日本仲間日記
イスラエル情報科学ハイテクベンチャー会社のCEO兼CSの脱日本&非日本仲間10名が発信する日本への警鐘!

だそうである。
あと、このブログは、書き出しのところにIDがふってあり、誰が書いたのかわかるようになっている。
今回の記事では
narmuqym
氏が書かれたそうである。
また、文末にはご丁寧に10名分のプロフィールが記されており、

narmuqym:HP&SUN研究所を経て、米国にハイテクベンチャー設立。最先端ニューラルMPUの研究開発を推進。現在はイスラエルのハイテクベンチャーのチーフサイエンティストに就任。知能の情報処理の根源を研究している。

というキャプションが存在する。
さて、そのうえでいろいろと検索をし(てもらっ)たところ、判明したのは
少なくとも本記事を書いたnarmuqym氏は大崎勝彦博士である、ということである。
また、このハイテクベンチャーというのは、ケレム・サイエンスとケレム・ソリューションズである。
http://www.kerem.co.jp/japanese_index.html
なんていうか目がチカチカする。

ふーん、なんかいろいろ作ってんだなーとか思うものであるが、なんとこのケレム・サイエンスとケレム・ソリューションズ、2013年に経営破綻している。
http://bank-db.com/hasan/867406
http://bank-db.com/hasan/867407

また、現在の米国法人であると思われるNanoProcessor laboratories社だが、カリフォルニア州法人検索ではひっかからなかった。
サンタクララにあるはずなのにも関わらず、である。
https://businesssearch.sos.ca.gov/CBS/SearchResults?SearchType=CORP&SearchCriteria=NanoProcessor+Laboratories&SearchSubType=Keyword

脳内ではメタルギアソリッド2のラストシーン、愛国者達の構成員が100年前に死亡しているというオタコンとスネークの一幕が流れていた…


実用性が云々という話についてはまた今度。というか、ひたすら調べ物してたら無駄に時間を使ってしまった…

NASAを秘密結社にしないための活動

あんまこういうこと書くなよみたいに言われそうなんだけど、とりあえず間違いは正しておかないと、彼らが最初共産主義者を攻撃したときみたいに、とか、インターステラーみたいになっても嫌なので…

最近この人が結構スパコンとケーザイとヘリマネと陰謀論を絡めてあれこれと言っているが、この人の言及している技術論については100%間違ってると言い切れるし妄想以上のものはないので、相手にすんなよという説のほうが九割を締める中、こうしてわざわざブログを書いている。
この人の論調としては次のようなもので

…とまぁ、「ポスト京のCPUにARMのISAを採用したから、すなわちその心臓部をARM(ソフトバンク)が抑えることになり、それはいずれ転売されるだろう。日本の(税金を費やして)開発した技術の流出!」というものが大筋のようである。

わりとちゃんちゃら可笑しいというか、まぁなんというか、わからないなら触らなきゃいいのに…という気持ちでいっぱいである。すでに一度バトってボコって、この人は自分のツイートからPEZYとつくツイートを全て削除したのにもかかわらず、まーーーたこうして出てきた訳で、なんというか暇なのかな…いやそれは俺も大概か…という気持ちにならないでもない。

まぁ、そもそもこのツイート、だいぶ日本語がアレなので何を言いたいのかさっぱりわからないのだが、うーん、なんていうか、まぁわかった気持ちになって先に進もう。
しかし(この人に限ったことではないが)、スパコンがいくら汎用機の集合体だからといって、こういうことを言えてしまうあたりは、インターネットの功罪というものについて意識を巡らせないでもない。ついでにSVEって単語を使い始めるようになったのは俺の言及以降であることを書き添えておきたい。

スパコンは一般的に使うPCの集合体である。構成要素としてはCPU、メモリ、ストレージ、ネットワーク、ついでにアクセラレータも入れてもいいだろう。確かにその根底、演算性能を支えているのはCPUだが、じゃあIntelのCPUを並べて大量に動かせばそのままスパコンとして使えるのか、というのであれば、名だたるスパコンベンダーというものはもうとっくに廃業している。
Cray, IBM, SGI, HPE...スパコンベンダーは他にもいくつかあるが、逆にいうとそれしかない。世界中にコンピュータを作っている会社はごまんとあるのにもかかわらず、だ。それは、疎結合なシステムというのを真っ当に組み上げようとするだけでかなりのハードルがあるから、ということができる。
今日、CPUの演算性能よりも、メモリの速度というのは圧倒的に遅くなっている。この件については、ここで俺があれこれと言葉を重ねるよりも、すでに様々な場所で様々に語られているのだから、そちらを参照してほしい。

http://news.mynavi.jp/series/next_sc/014/

CPUの隣ぐらいにあるメモリですら遅いと言っているのだから、そこから内部バスを通ってPCIeを通ってInfinibandを通って隣のノードに行くのは、人類が火星に旅行するぐらいの距離感である(要出典)
そこが遅ければ、本来の演算器が持つ性能を発揮できないスパコンになってしまう。千台の端末を千台動作させるのではなく、千台の端末を一台として動作させるのである。これはプログラムを書く側もさることながら、システムとしてもまともにサポートしてくれないと非常に困難だ。それゆえ、スパコンを設計する人はスーパーコンピュータアーキテクトと呼ばれる。
ノウハウというのは、だいたいこのベンダーが抱えて持っているものだ。まともに使い物になるスパコン、というのは、このアーキテクト、そしてそれを支えるベンダーの人々の努力によって構築されていると言える。

だからこの人の見ている部分というのは、全くレイヤーが別の箇所なのである。エンジンだけ作ってもレースでは勝てねえ。きちんと車を作らねばな。

「科学技術の真の発展」なるものは、こういう横槍を入れないことでのみ達成できると思うが、それはさておき。
ポスト京で使われるARMのCPUがどういったもので、既存技術とのシナジーはどこにあるのか、という議論は、すでに富士通が出したホワイトペーパーで一定の解は示されている。

http://www.fujitsu.com/jp/documents/products/computing/servers/unix/sparc/downloads/documents/US41880316_JA.PDF

読みねえ。
SPARCとARMでマイクロアーキテクチャ(ハードウェアの実装)を共通にするとあるが、色々な宗教的対立(笑)はあるにはあるのだが、マイクロアーキテクチャというのは突き詰めると概ね似てくるもんである。だから大筋において心配はないと考えられるだろう。
この人が一番引っかかっているだろうSVEのライセンスについてだが、ここは結構フクザツで難しい。俺の理解というか、俺が書いていることも、外野から得られる情報だけなので、真実かどうかは不明だ。

ARMにはいくつかのライセンス体系がある。
https://www.arm.com/ja/products/buying-guide/licensing/index.php
わかりやすくいうと、「ARMのCPUをそのまま製造する権利」と、「ARMのCPUを設計・製造する権利」の二つにわかれている、というようなものだ。
ここでまた色々とフクザツな話が出てきて切ないのだが、CPUというのは大きく分けて二つのアーキテクチャと呼ばれるものを持っている。先ほど何一つ説明なく使ったマイクロアーキテクチャというものと、命令セットアーキテクチャというものだ。
命令セットアーキテクチャというのは、CPUの命令について定義したものでCPUがもつ演算器をどのように稼働させるかを記述している。詳しくはwikipedia参照のこと。
https://ja.wikipedia.org/wiki/命令セット

マイクロアーキテクチャというのは、その命令セットアーキテクチャに対応するハードウェアの実装についてを記述したものだ。同じく詳細はwikipediaを見て欲しい。
https://ja.wikipedia.org/wiki/マイクロアーキテクチャ

ARMの場合、前者の権利は、ARMが設計したCPUを自分の製品に組み込んで使う、という使い方になる。スマホとかで、ARM Cortex A-xxという表記をみることは多いだろうが、これは前者のライセンスによって製造された製品と考えていい(とおもう)。この時、Cortex A-xxといったマイクロアーキテクチャを、リファレンスデザインと呼ぶ。ARMが作った、「うちの命令セットはこういう風に実装してくださいね」というやつを使っている、という意味だ。
一方後者の場合、自分たちでマイクロアーキテクチャも設計する権利を得る。拡張してもいいよ、という話だ。だがここでARMのえげつなさというか、なんというか…ARMは独自拡張を一切禁止している。それゆえ、くわえた拡張は、すべてARMの仕様に組み込まれてしまう。
まぁそれは仕方がないといえばない。それはそういうライセンスなのだから、気に入らなければ使わなければいいというただそれだけの話だ。
ただ、ここに一つ落とし穴があって、拡張部分については、仕様として取り込まれる部分と、実装として各ベンダーが作る部分がある、ということだ。
つまり、SVEはARMの仕様に取り込まれるが、かと言って、それを誰しもが使えるわけではないということ。命令セットアーキテクチャは定義されたが、マイクロアーキテクチャについては、ARMが作ってくれるのを待つ他ない、というのがSVEを取り巻く現状だ。
そしてARMは今のところ、SVEのリファレンスデザインを提供する気がない。(要出典)
……まぁ、少なくともSC16の時点では提供する気はないみたいなこと言ってたから、富士通がんばれー。
あと、BroadcomもARMv8のCPUの設計を行っていて、SVEを採用するとかいう噂が流れていたが、残念ながら終了したそうで、ますます富士通以外は誰もやっていないのであった。
https://www.theregister.co.uk/2016/12/07/broadcom_arm_processor_vulcan/
あと1社ぐらいあったっけ?覚えてない。



これについてはもはや妄言である。だって作ってるの富士通だし。
PEZYやエクサスケーラーはポスト京には1bitも関与していないのだが…してないよね?


あとは極め付け。


もはや後半はなにがいいたいのかわからないが、TSUBAMEを肯定しつつ、返す刀で国産(ARMの買収によって図らずもこの言葉が言えるようになってしまったw) スパコンであるところのポスト京をDISるというのは、さすがに高度すぎるギャグだ。
だってTSUBAMEは作ってるのHPEだし、中身はIntel + NVIDIA のP100である。ノウハウの蓄積は公的部門になされるもクソも、最初から最後まで徹頭徹尾の外資系である。どこに蓄積できると言うのか。

まぁ、富士通がARMを採用したと言うのは、自分がもってるSPARCアーキテクチャが寿命ですーーーって言ってるのと同じなのではあるけれども。

ただまぁ、

だけは死ぬほど正しいと思うので、世の中もっと給料上がるべきだと思います(こなみかん


0217 10:09追記

PEZYとかはヘリコプターマネーによって実現されているらしく、エクサスケールの少女はそのプロパガンダ小説であり、背後にいるのは自民党内の一派であるというのがこの人の主張だが、そんなもんがあるというのなら見せてもらいたいもんである。

こういう手合いはもはや結論ありきで話してるので、「ヘリマネは危険」からの、「人工知能バブルで金が流入している」「スパコンはヘリマネで作られる!」という論法なのだと思う。
ケーザイについては勝手に持論述べててくれと思うが、技術に金を投資することさえ出来なくなるのならどの道滅ぶんだからさっさとヘリマネでもなんでもして滅べばいいと思う。

それっぽいけど間違っている技術ブログについて

最近多いですよね。

と言うわけで、マサカリを投げましょう。

HPCで次に注目すべきなのは、次世代のINTELXEON PHIでもNVIDIAのTESLAでもなく、エクサスケール一番乗りのPEZY COMPUTING「PEZY SC2」だ
http://www.weblog-tech.nagoya/about-hardware/hpc/1576

まぁ、重箱の隅突くなよという意見もあろうとは思うけど、だってこの記事、Andoさんのやつの劣化コピーなんだもん…

エクサスケーラー社の技術

冷却油に漬けることでシステムを冷却する液冷サーバーを開発するExaScaler

とありますが、エクサスケーラー社が開発している冷却システムは、油ではなく、沸点の高いフロリナートです。
Andoさんの記事にも書いてあります。めんどくさいんでこれを1Andoとします。

勝負になっていることが驚異的

PEZY SCnpが28nmでの製造なのに対してNVIDIA Tesla P100は16nmでの製造です。勝負になっていることの方が奇跡的だと言えるでしょう。

まぁ否定はしないけど、プロセスルールが進んだから勝負になるか、というとそういうわけでもなく、PEZY-SCが戦えているのは、ひとえにシンプルなコアを大量に内包することという、SW26010と同じ戦略であるからといえる。
それ言い始めると28nmで世界最高峰の性能と消費電力効率のSW26010がなぜ最強になったのか、が説明つかなくなるしね。

スペック表

なんていうか引用もめんどくなってくるのだけど、一般的にメモリインタフェース、つまり、TCIやHBM2、DDRと言ったものの帯域を表記するときは、メモリからどれだけ引っ張れるか、という風に書くものなので、それをLLC間の帯域、という表記はしない。
これはAndoさんのに書いてないので1Andoではありません。

CEコア?SPコア?

独自研究タグが貼られそうな名前が伏線なく登場したのでなろう小説かと思いましたが、SCのコアは一貫してPE表記だし、P100のほうはCUDA Core。1Ando足して2Andoになります。

消費電力性能

P100が5.3TFLOPSで300W。SC2が4.1TFlopsで200W。
それぞれ、17GFLOPS/Wと20.5GFLOPS/W。方々に怒られそうではあるけども…
うーん、ここは考え方次第かな。多少消費電力高くとも絶対性能を重視する俺のような人間だとP100に軍配上がるし。

比較対象

PEZY SC2は、HPCにおいてはNVIDIA TeslaよりもむしろXeon Phiと比べるべきプロセッサだと言えます。

比べるべきは、ヘテロジニアスマルチコアであるところのSW26010。
KNLはホモジニアスなので、メニーコアではあるが、非対称性に起因する諸々の困難さはない。

まとめ

というわけで2Andoでした。
もっとあるような気がしてたがなかった…途中から気付いてしまったので直してない。その辺はなんかすまねえって感じ。

とはいえ、こういう風に情報を発信することは悪いことではないと思う。
ただ、それが本当に正しいのか?ということは常に考えているべきだし、間違えたら迅速に訂正してほしい。
https://togetter.com/li/990237
のまとめとか。

しかしこのまとめと次のまとめもそうだけど、ほんと酷い話しか載ってねぇな…

退職しました

久しぶりの記事がこれもどうかと思わないでもないですが…

新卒で入った某F社を退職しました。(書類上はまだ在職中)
インターンとバイト時代を含めると約6年ぐらいにいた会社でした。いやはや、いつの間にかこんな時間が経っていたというのは驚きです。

転職の理由は、単純にちょっと新天地に行きたくなったというものです。
会社に不満は(いやまぁそりゃないわきゃないのですが) そこまでなくて、いわゆる「ちくしょう転職だ」モードに入る前に、ちょっとあまりにも面白そうなところを見つけてしまったのでこうお話を伺っていたところ、やっぱりあまりにも面白そうなので入れてくださいとか言ったら入れてもらえることになったので、よっしゃいきますということで転職を決めた感じです。
みなさまにおかれましては驚きをもって受け入れて頂けたようで、僕も仕掛け人として何よりと思っています(何の話

おそらくここは某社のみなさまもご存知のことと思いますが、並列化・最適化を少しばかりやったことのあるだけのクソガキを心よく受け入れてくださって、かつ、色々とお相手してくださった先輩たち、あとなんだかよくわからないけど慕ってくれた後輩たち、加えてもう残り少なくなってしまった同期たちw のおかげで、非常に刺激的で、技術的にも面白い毎日を過ごすことができました。この場を借りてお礼を申し上げます。

さて、ありがちな転職エントリらしく、前職についてつらつらと書いていきます。
以下はポエムなので、真実は一割ぐらいしか含まれていないものと思いねえ。

どんな会社か?

日本にソフトハウスは数あれど、最適化を主眼に置いている会社というのはやっぱり数少なくて、そのうちの一社であり筆頭と言えるのではないでしょうか。
やっていることは、サーバー向け・組み込み向けCPU最適化、GPU最適化、エトセトラエトセトラ…最近じゃNANDのファームも書いたりしてましたっけ。僕は関わってないので詳しくは知らないのですが。
あらゆる手段を持って速くすることを主とした会社であると言えます。

就職先としてみるとどうか?

退職エントリだから情報量をある程度ふくんどけというのが持論なので、愚痴を書き連ねたりするよりも先にやることがあろう!!
というわけで、就職先としてみるとどうか、という点について書いてみたいと思います(ああ、あとで文句言われそう…)

結論からいえば、勧めたい気持ちが半分、止めたい気持ちが半分といったところです。
(おいおまえに引っ張られていったぞって人はクレームつけてくださいw

勧めたい理由

やっぱりプログラマとしては恵まれた環境でした。
僕はGPGPUとか組み込み向けの変なCPUとか、Intelにしても最新のアーキテクチャを触る仕事や、評価機の評価とか色々やらせてもらいました。
おかげで身についたスキル、知り合えた人々も非常にたくさんいます。感謝してもしきれません。
GPGPU勉強会とかも、ここにいたから開催できたし、ここにいたから非常に面白い形で盛り上げられたかなと思ってます。
業務では、お客さんの問題をテックで解決していこう、というのをまっとうに考えられたっていうのが非常に面白かったです。
加えて言えば、非常に周囲の人々のレベルが高く、また専門スキル持ちも多いので、良い感じの技術的な質問が飛び交ったりしています。(マサカリとも言う)
高いレベルのコードを書く土壌は整っていると言えるでしょう。

止めたい理由

逆に言えば、上記に当てはまらない人の場合いくのはおすすめしません。
つまり、「ありとあらゆる方法を駆使して速くすること」に魅力を覚えない場合は、いくことはおすすめできません。
あと、自分自身を常に追い込んでいくつもりがない場合もおすすめしません。
なぜなら、主たるビジネスが受託開発であることから、わりと長めの案件にアサインされた場合、スキルの固定化が生じることがままあるからです。
三年間同じことをし続けていると、一般的にはそのお客さんの仕事に最適化されます。これは良い悪いとかではなくて、日々の仕事を効率的に回そうと思ったら当然のことです。ただ、それを推し進めると、それ以外できなくなってしまいます。エンジニアとしてはあまりいいことではありません。

あと、深刻な問題として感じていたのが、「なぜここに来たのか」に明確に答えられる人間が減ったということがあります。
僕はある時期まで、初めて顔をあわせる人には、「なんでここに来たんですか?」という問いをしていました。理由は様々でしたが、速くしたいとか並列化したいとか変な石触りたいとか、まぁ理由はそれぞれでしたが、それなり以上に、少なくともこの会社のカラーに魅力を覚えてきた人がいたように思います。
それがあるとき、同じようなことを聞いたら「都内にあって、週休二日が保証されてて、残業も少なそうで…」とかいう理由を口にされたことがありました。
凄まじいショックでした。
いやまぁさすがに僕もそれなりに丸くなったので、その人に「は?意味わからんふざけんな」とかは言いませんでしたし、先輩たちとそんな話をしたら、「いや、世の中そんなんばっかりだぞ」とか言われたりもしたわけですが、この会社のカラーに何の興味もない人々というのが入ってきたというのは、ある意味で恐怖でした。
そして、現在もそれは続いていますし、拡大していっています。
すべての人がそうであるとは言いませんが、「前職ではコードをあまり書けなかったから、ここではコードを書きたい」という言葉を口にする人を、僕は信用していませんでした。
どんなコードを書きたいのか? それを実現する場所として、本当にここがいいと思ったのか?
コードを書きたいと入ってきて、その問いにきちんと答えてくれた人を僕は一人しか知りません。
「ただコードを書く毎日を過ごしたい」だけなら、他にも選択肢はたくさんあります。ここでしかできないこと、ここでならできるだろうことをきっちり考えてから選んでください。

中の人へ

ビッグマウスを叩いておきながら、いきなり退職しまーすをやらかして本当にすいませんでした。
ましてや、いくつか推進しようとしていたプロジェクトが、立ち上がった、あるいは立ち上げようとしていた最中に抜けることになってしまったようで、やっちまった感があります。
まぁタイミングが悪いのは今に始まったことではないので、大目にみてください。

最終出社日に僕の周りにいた人には挨拶回りにいって色々と話をしましたが(僕とそれなりに付き合いがあったのにおれ声かけられてないって方がいましたら、単に割り込みが入りまくって忘れただけの可能性が大なので許してください) 少なくとも僕の周りの人々は、最高に素晴らしい技術と、最高に素晴らしい高いプライドを持って仕事に臨んでいる人々であると思っていました。そんな人々と一緒に仕事ができたこと、そんな人々に認められるまでになれたことは、望外の喜びでした。これからも、技術的最先端を突っ走ってくださることを期待しています。
創業して十年といいますが、まだまだ中は変革の途中だと思います。僕が何ができたかはいまいちよくわかりませんが、種ぐらいはまけたんじゃないかと思っています。つーかまけたと思わせてくれw

とくに、これから会社を引っ張っていくのは僕の後輩たちだと思っています。三年目になる彼らも、去年入ってきたのも、今年入ってきたのも、みんな僕以上に優秀なのばかりなので、きっと僕以上に活躍することでしょう。それが今は楽しみです。
みんなの活躍を期待しつつ、僕は僕で、これからも頑張っていきます。

まぁ1ホップの場所にいるんで…どうせまたすぐに会うと思いますw