Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

NLP

AI王で準優勝を獲りました

皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。)1月26日(金)に最終報告会が開催され…

ragasを使ってRAGシステムを定量的に評価する

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。Acroquestでは検索とAzure OpenAI Serviceを組み合わせ…

Prompt Flowの一括テストを使ってRAGの複数回答を自動評価する

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。この記事は「Prompt Flowを使ってRAGの回答を自動評価…

Prompt Flowを使ってRAGの回答を自動評価する

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。Microsoft Buildを経て、AzureにもGPTを利用したサービ…

Semantic Kernelを使ってGPTと外部ツールを簡単に連携してみる

こんにちは。最近湿度が上がってきてつらい@Ssk1029Takashiです。 最近当社ではAzure OpenAI Serviceを活用した検索ソリューションに取り組んでおり、私も開発として携わっています。 www.acroquest.co.jpそんな中でもOpenAIのGPT周りのアップデートが激しく…

GPTが出した回答の確からしさを見えるようにしてみる

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。この記事はGPTでチャットボットを作ってみるシリーズ第…

GPT-3を使って自分だけのAIアシスタントを作る第一歩

皆さんこんにちは。健康診断の結果がちょっと気になる年齢になってきたSsk1029Takashiです。GPT-3を扱ってチャットボット作ってみる記事の第2弾になります。第1弾のこちらもぜひご覧ください。 acro-engineer.hatenablog.com前回は質問応答システムとしてGPT…

GPT-3を使って根拠付きで正確に質問応答してくれるシステムを作ってみる

こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。最近はChatGPTが出て注目を浴びたり、BingにもChatGPTのように質問応答してくれるAIが搭載されるなど、OpenAIのGPTモデルが世の中を騒がせています。 私もChatGPT使ってみましたが、受…

Sentence BERTをFine TuningしてFAQを類似文書検索してみる

こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はRTX4090のマシンを買って電気代が上がってきています。昨今NLP界隈では事前学習モデルが出てからは、検索というのもキーワードでの検索だけではなく、文章を入力にして似たよう…

YAMALEX が第3回 AI 王に参加しました

アクロクエスト アドベントカレンダー 12月7日 の記事です。 こんにちは、機械学習チーム YAMALEX メンバの駿です。 この度、東北大学、理化学研究所が主催する「 AI 王~クイズ AI 日本一決定戦~第3回コンペティション」(以下、AI王)に YAMALEX として…

Elastic Stack Advent Calendar 2022(2022年のElastic Search Platformを振り返る)

2022年のElastic Search Platformを振り返ってみました。

Azure Cosmos DBを使って日本語をグラフで表現してみる

皆さんこんにちは。最近ちょっとずつ体重が増えて、若干年齢を感じている@Ssk1029Takashiです。日常生活の中で、文章を読む機会というのは数多くありますが、もう少し簡単に要点を押さえたいということが多いかと思います。 読むというよりは、図に表示され…

Azure Cognitive Searchのコグニティブスキルを使った自動でフィルタ検索

皆さんこんにちは。@Ssk1029Takashiです。 気づけば今年もあとわずかになってきて、一年の早さを感じますね。以前、GiNZA+Elasticsearchを使って固有表現抽出を使ったタグ検索のデモを作成しました。 acro-engineer.hatenablog.comただ、デモというのは何よ…

GiNZAの単語分散表現にchiVeを使って精度向上のお試し

こんにちは。最近シェアハウスのネットワークをIPv6に切り替えたら快適になった@Ssk1029Takashiです。最近は学習済み単語分散表現が日本語でも充実してきており、語彙の多いもの・ドメインに特化しているものなど選択肢の幅が広がってきています。 日本語処…

GiNZAの固有表現抽出とElasticsearchを使って自動でタグ検索

こんにちは。@Ssk1029Takashiです。 最近は家でもどうにかラーメンを食べられないかと試行錯誤しています。タグ検索とは、キーワード検索とは違い、検索する前からユーザーが選択肢からキーワードをセレクトボックスなどで選んで、検索できる検索方法です。 …

機械学習未経験者も良いモデルを作れるAutoGluonで「テキスト分類」をやってみた

こんにちは。@Ssk1029Takashiです。最近、タスクを設定して、データセットを与えれば勝手にモデルまでいい感じにしてくれるAutoMLを使うための様々なサービス・ライブラリが出てきています。 先輩の@tereka114がAutoGluonを使っているのをみて触発されたので…

GiNZA+Elasticsearchで係り受け検索の第一歩

急に冷え込んできてお布団が恋しい季節になってきました。 こんにちは。@Ssk1029Takashiです。 この記事は自然言語処理 Advent Calendarの6日目の記事になります。 qiita.com全文検索システムは単語検索であることが多いですが、単語検索だけだと困ることも…

Convolutional Neural Networkを使う自然言語処理論文読破に挑戦!(後編)

皆さんこんにちは、@tereka114です。数ヶ月前にConvolutional Neural Networkを使う自然言語処理論文の文書分類について紹介しました。 acro-engineer.hatenablog.com今回の後編では機械翻訳や系列ラベリング、そして、その他利用されている分野を紹介します…

Convolutional Neural Networkを使う自然言語処理論文読破に挑戦!(前編)

皆さんこんにちは、@tereka114です。画像処理の分野の方はお馴染みかと思いますが、画像処理では、Convolutional Neural Network(CNN)をよく利用されています。このニューラルネットワークのアーキテクチャは画像処理の分野で非常に大きな成果をあげており…