皆さんこんにちは
Acroquestのデータサイエンスチーム「AcroYAMALEX」のチームリーダ、@tereka114です。
AcroYAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。
（詳細はこちらをご覧ください。）
私は長崎で開催されているNLP2025に3/12（木）〜参加していました。
私自身はNLP2025、長崎ともに初でワクワクでした。
NLP2025
「言語処理学会」は、言語処理に関する研究を行う日本の学術団体で、自然言語処理、計算言語学、言語情報処理などの分野を扱います。
今回の『言語処理学会 年次大会』は、毎年3月頃に開催され、当該分野における最も重要な学術イベントの一つとして位置づけられています。
端的に言えば、日本語の自然言語処理で大きな学会です。
本年は長崎開催で、2248名の参加がありました。
今回は当社から2つのポスターとワークショップでの発表をしました。
ポスター発表
今回のポスター発表は次の2点です。
1. 『表記ゆれが文埋め込みモデルに及ぼす影響についての考察』
著者：佐々木峻、山本大輝
論文：https://www.anlp.jp/proceedings/annual_meeting/2025/pdf_dir/P8-5.pdf
論文概要：RAGや文埋め込み検索が台頭する中、日本語検索では表記ゆれが課題となっている。本研究では単語の表記ゆれが文埋め込み検索の精度に与える影響を検証し、同義語辞書によるクエリ変換を用いた新手法を提案・評価する。
2. 『少量ショットに対する大規模言語モデル（LLM）を用いた人工データ生成による精度向上の試み』
著者：山本大輝、佐々木峻
論文：https://www.anlp.jp/proceedings/annual_meeting/2025/pdf_dir/Q8-22.pdf
論文概要：LLMは自然言語処理で高い精度を示すが、高コストが課題。従来の手法はコストが低いが、データ不足で性能が向上しない。
本研究では、LLMで学習データを生成し、軽量モデルの精度向上を目指した。実験で、参照なし文書生成プロンプトが最も効果的で、軽量モデルでも精度向上が確認された。
NLP2025初参加でしたが、当日のポスター発表で参加者の皆様から、様々なフィードバックが得られたので非常に貴重な体験ができたと思っています。
今後の研究活動にも活かせるものもありましたので、更に来年に向けて進展させたいと思います。
大規模言語モデルのファインチューニング技術と評価
当社のメンバーで「大規模言語モデルのファインチューニング技術と評価」のワークショップに参加しました。
このワークショップでは事前にLLMを使って「数学」と「安全性」の2種類のタスクの精度を向上するコンペティションが開催されていました。次のようなタスクです。
- 数学：与えられた数学の問題を解く
- 安全性：答えてはいけないものに回答せず、答えて良いものに適切に回答する
当社のデータサイエンスチーム、「YAMALEX」で参加して、数学準優勝、安全性3位になりました。（以下、表彰状）
数学タスクでは論理的な解説とその答えを導くコード生成を含むKaggleのAIMO Prize 1stのソリューションを適用したモデルを開発しました。
また、安全性タスクではCoTのデータを生成し、論理的に答えを導き出すようにモデルを学習しました。
本ソリューションの詳細はこちらにあります。
ワークショップ内では当チームの代表として佐々木が発表しました。
安全性、数学タスク両方で論理的な推論をさせるように学習させることで精度向上に繋がることを実感できました。
また、今回のワークショップではモデルの学習に関する知識に関する招待講演があり、非常に学びが多かったです。
その他
長崎は観光も食事もバッチリです。
ちゃんぽん、お寿司などもおいしいところが会場近辺にあります。
また、観光で空いた時間に出島に行きました。
江戸時代の外交を中心とした当時の特産品、文化などを学べて、非常に面白いと思いました。
学会も観光も含めて、非常に満喫できました。
最後に
NLP2025にはじめて参加しましたが、参加者の皆様と様々な議論ができて学びも多かったです。
改めて、運営、スポンサー、参加者の皆様ありがとうございました。
来年の宇都宮も参加したいと思っています。
Acroquest Technologyでは、キャリア採用を行っています。
- Azure OpenAI／Amazon Bedrock等を使った生成AIソリューションの開発
- ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
- マイクロサービス、DevOps、最新のOSSやクラウドサービスを利用する開発プロジェクト
- 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。
