Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

NLP

MicrosoftのGraphRAG+Neo4jで簡単にKnowledge Graphを可視化する

こんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。LLMが広く使用されるようになってから、RAGに関する研究も増加し、RAGを拡張する手法の研究も多く出ました。 その中でもテキストをグラフデータとして扱いRAGの元データとする手法をG…

RAGの処理で、リランクとベクトル検索でできることの違いを検証/解説してみる

こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と…

ACL2024 参加報告 後半

こんにちは。タイに来ても日本にある食べ物ばかり食べてしまっている@Ssk1029Takashiです。 この記事はACL2024参加報告記事の後半になります。 前半記事はこちらになります。 acro-engineer.hatenablog.com後半記事ということで、本会議最終日からWorkshopま…

ACL2024 参加報告 前半(~3日目)

NLP

こんにちは。タイの気温がほぼ日本と同じでちょっとげんなりしている@Ssk1029Takashiです。 私は自然言語処理の国際学会であるACL2024に参加するため、タイのバンコクに来ています。 2024.aclweb.org今アクロクエストではRAGを用いたプロダクトを開発してお…

AI王で準優勝を獲りました

皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。)1月26日(金)に最終報告会が開催され…

ragasを使ってRAGシステムを定量的に評価する

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。Acroquestでは検索とAzure OpenAI Serviceを組み合わせ…

Prompt Flowの一括テストを使ってRAGの複数回答を自動評価する

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。この記事は「Prompt Flowを使ってRAGの回答を自動評価…

Prompt Flowを使ってRAGの回答を自動評価する

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。Microsoft Buildを経て、AzureにもGPTを利用したサービ…

Semantic Kernelを使ってGPTと外部ツールを簡単に連携してみる

こんにちは。最近湿度が上がってきてつらい@Ssk1029Takashiです。 最近当社ではAzure OpenAI Serviceを活用した検索ソリューションに取り組んでおり、私も開発として携わっています。 www.acroquest.co.jpそんな中でもOpenAIのGPT周りのアップデートが激しく…

GPTが出した回答の確からしさを見えるようにしてみる

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。この記事はGPTでチャットボットを作ってみるシリーズ第…

GPT-3を使って自分だけのAIアシスタントを作る第一歩

皆さんこんにちは。健康診断の結果がちょっと気になる年齢になってきたSsk1029Takashiです。GPT-3を扱ってチャットボット作ってみる記事の第2弾になります。第1弾のこちらもぜひご覧ください。 acro-engineer.hatenablog.com前回は質問応答システムとしてGPT…

GPT-3を使って根拠付きで正確に質問応答してくれるシステムを作ってみる

こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。最近はChatGPTが出て注目を浴びたり、BingにもChatGPTのように質問応答してくれるAIが搭載されるなど、OpenAIのGPTモデルが世の中を騒がせています。 私もChatGPT使ってみましたが、受…

Sentence BERTをFine TuningしてFAQを類似文書検索してみる

こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はRTX4090のマシンを買って電気代が上がってきています。昨今NLP界隈では事前学習モデルが出てからは、検索というのもキーワードでの検索だけではなく、文章を入力にして似たよう…

YAMALEX が第3回 AI 王に参加しました

アクロクエスト アドベントカレンダー 12月7日 の記事です。 こんにちは、機械学習チーム YAMALEX メンバの駿です。 この度、東北大学、理化学研究所が主催する「 AI 王~クイズ AI 日本一決定戦~第3回コンペティション」(以下、AI王)に YAMALEX として…

Elastic Stack Advent Calendar 2022(2022年のElastic Search Platformを振り返る)

2022年のElastic Search Platformを振り返ってみました。

Azure Cosmos DBを使って日本語をグラフで表現してみる

皆さんこんにちは。最近ちょっとずつ体重が増えて、若干年齢を感じている@Ssk1029Takashiです。日常生活の中で、文章を読む機会というのは数多くありますが、もう少し簡単に要点を押さえたいということが多いかと思います。 読むというよりは、図に表示され…

Azure Cognitive Searchのコグニティブスキルを使った自動でフィルタ検索

皆さんこんにちは。@Ssk1029Takashiです。 気づけば今年もあとわずかになってきて、一年の早さを感じますね。以前、GiNZA+Elasticsearchを使って固有表現抽出を使ったタグ検索のデモを作成しました。 acro-engineer.hatenablog.comただ、デモというのは何よ…

GiNZAの単語分散表現にchiVeを使って精度向上のお試し

こんにちは。最近シェアハウスのネットワークをIPv6に切り替えたら快適になった@Ssk1029Takashiです。最近は学習済み単語分散表現が日本語でも充実してきており、語彙の多いもの・ドメインに特化しているものなど選択肢の幅が広がってきています。 日本語処…

GiNZAの固有表現抽出とElasticsearchを使って自動でタグ検索

こんにちは。@Ssk1029Takashiです。 最近は家でもどうにかラーメンを食べられないかと試行錯誤しています。タグ検索とは、キーワード検索とは違い、検索する前からユーザーが選択肢からキーワードをセレクトボックスなどで選んで、検索できる検索方法です。 …

機械学習未経験者も良いモデルを作れるAutoGluonで「テキスト分類」をやってみた

こんにちは。@Ssk1029Takashiです。最近、タスクを設定して、データセットを与えれば勝手にモデルまでいい感じにしてくれるAutoMLを使うための様々なサービス・ライブラリが出てきています。 先輩の@tereka114がAutoGluonを使っているのをみて触発されたので…

GiNZA+Elasticsearchで係り受け検索の第一歩

急に冷え込んできてお布団が恋しい季節になってきました。 こんにちは。@Ssk1029Takashiです。 この記事は自然言語処理 Advent Calendarの6日目の記事になります。 qiita.com全文検索システムは単語検索であることが多いですが、単語検索だけだと困ることも…

Convolutional Neural Networkを使う自然言語処理論文読破に挑戦!(後編)

皆さんこんにちは、@tereka114です。数ヶ月前にConvolutional Neural Networkを使う自然言語処理論文の文書分類について紹介しました。 acro-engineer.hatenablog.com今回の後編では機械翻訳や系列ラベリング、そして、その他利用されている分野を紹介します…

Convolutional Neural Networkを使う自然言語処理論文読破に挑戦!(前編)

皆さんこんにちは、@tereka114です。画像処理の分野の方はお馴染みかと思いますが、画像処理では、Convolutional Neural Network(CNN)をよく利用されています。このニューラルネットワークのアーキテクチャは画像処理の分野で非常に大きな成果をあげており…