こんにちは。
Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊
YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。
さて、先日7/23-7/27にICTIR2023およびSIGIR2023という情報検索関連の国際会議が台北で開催されました。年に一度開かれる国際会議で、毎年この分野の研究を色々と聞くことができ、個人的にとても楽しみにしているイベントです。
ここ数年はCOVID-19の事情もありオンラインで参加していたのですが、今年は思い切って現地参加して来ましたので、その様子を共有したいと思います。
sigir.org
概要
会場は台北のTICC（Taipei International Conventional Center）という場所でした。台北101のすぐ近くにある広くてキレイなところです。
日程としては全5日間あったのですが、例年ICTIRとSIGIRが合同で開催されるような形になっており、今回はICTIRのセッションは初日がメインで残りはSIGIR、というイメージです。（厳密にいうともう少しややこしい気はしますが）
詳細
ICTIR
ICTIRのKeynote speakerは酒井哲也先生＠早稲田大学で、「Evaluating Parrots and Sociopathic Liars」というタイトルでの発表でした。
（酒井先生は私の大学時代の恩師で、久しぶりにお会いできて嬉しかったです）
会話形式での検索やチャットボットの出力結果を評価するお話。
ざっくり言うと、ChatGPTのようなモデルのアウトプットの良し悪しをきちんと評価しようということです。
詳しくは公開されているスライドや論文をご覧いただければと思いますが、SWAN（Schematised Weighted Average Nugget score）という評価指標を提案しており、レスポンスのテキストをNuggetに分割し様々な観点でスコアをつけるような手法です。
アカデミックな立場での検索評価は非常に厳密で、実務で求められるレベルと隔たりがある状況は実態としてありつつも、
生成AIを活用する立場だからこそ、関連度だけでなく正当性や有害性など含めてきちんと評価する責任があると感じています。会の中での質疑でもありましたが、もちろんSWANで考慮されている評価軸全てを取り入れる必要があるというより、用途／ユースケース等に応じて必要な指標を吟味することが重要だと理解しました。
waseda.app.box.com
arxiv.org
SIGIR
SIGIRとしてのオープニングは２日目にあり、参加者数や論文の傾向などが紹介されました。
今回のSIGIRは800以上ものFullPaperがSubmitされ、これまでで最多でした。トピックとしては圧倒的にレコメンデーション関連の論文が多かったようです。
中国の方の論文数が圧倒的ですね。
今年はオンラインとオフラインのハイブリッド開催というカタチで、発表者も会場orオンラインという形式でした。
自分は、ジャンルとしてはレコメンダーに興味があったので、その分野の発表を中心に参加していました。
ランチのお弁当。昔中国に住んでいたせいもあってか、なんだか懐かしい味がしました。
また、ポスター発表もおこなわれていました。
発表者にその場で説明してもらったり質問したりできるのは現地参加のメリットとして大きかった印象です。
ポスターセッションを回る時間は多めに確保することができたので、ざっと全ポスターを見て回ることができました。
発表の様子は次の写真のような形です。近くで軽食やコーヒーが提供されていたので、ゆっくり休憩しながら発表を回れたのも良かったです。
３日目にあったBanquetは、グランドホテルというところでおこなわれ、豪華な料理をいただきつつライブパフォーマンスなどを楽しみました。
Banquetでは、他国の参加者の方と話しながら食事をしました。
これもオンライン参加だと得られない貴重な機会だと感じました。
最後に
今年はタイミング的に、論文の大半をLLMの内容が占めるということはまだありませんでしたが、
やはり会の中ではLLMのことを話している人が多く、情報検索分野も大きく影響を受けているのを感じました。今後さらに増えてくると思います。
アクロクエストではChatGPT関連のサービスを提供しているので、引き続きキャッチアップしたいと思います。
また、普段フルリモートで自宅から仕事をしているので、実際に海外の現地に行って空気を感じられたのは良かったです。
来年はワシントンで開催されるそうなので、もし可能であれば参加したいところです😊
Acroquest Technologyでは、キャリア採用を行っています。
- ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
- Elasticsearch等を使ったデータ収集／分析／可視化
- マイクロサービス、DevOps、最新のOSSを利用する開発プロジェクト
- 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。Kaggle Grandmasterと一緒に働きたエンジニアWanted！ - Acroquest Technology株式会社のデータサイエンティストの採用 - Wantedlywww.wantedly.com
