Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

2024-01-01から1年間の記事一覧

ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法

この記事は Elastic Stack (Elasticsearch) - Qiita Advent Calendar 2024 - Qiitaの11日目の記事です。はじめまして。テクニカルコンサルタントの江見と申します。 普段はElasticsearchに関するコンサルティング業務に携わっております。業務の中で、RDB(M…

生成AI×アプリ開発!bolt.newでフロントエンドが苦手な私でもWebアプリ開発

こんにちは。バックエンドエンジニアの前田です。 最近はかなり冷え込んできて、冬が近づいてきたなと感じます。 社内では、肉まんを販売しています。 寒い日に熱々の肉まん、良いですよね。さて、今回はbolt.newを用いて、ゼロからアプリケーションを作成し…

Pineconeでハイブリッド検索/リランクは検索精度にどのように寄与するか?

はじめに こんにちは、データ分析エンジニアの木介です。 秋も深まり、肌寒さを感じる季節となりましたが、皆様いかがお過ごしでしょうか。 今回はPineconeを使ったハイブリッド検索とリランクについて紹介していきます。 はじめに 概要 1. Pineconeとは 2. …

MicrosoftのGraphRAG+Neo4jで簡単にKnowledge Graphを可視化する

こんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。LLMが広く使用されるようになってから、RAGに関する研究も増加し、RAGを拡張する手法の研究も多く出ました。 その中でもテキストをグラフデータとして扱いRAGの元データとする手法をG…

OpenAIのプロンプトジェネレーターで至高のプロンプトを生成する

こんにちはイワツカです。 食欲の秋ということでサツマイモやキノコが美味しい季節ですね。 さて今回は、生成AIを使おうと思ってもプロンプトの書き方がよく分からず、生成AIから思ったような回答を得られない...なんて方におススメのOpenAIのプロンプトジェ…

Amazon Bedrock Knowledge Base は OpenSearch にどのようなインデックスを作成するのか?

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) 寒くなってきたので、暖房をつけてしまいました…

Difyを安全にバージョンアップできるようにする

はじめに こんにちは。10月も半ばを過ぎ、秋らしい空気が広がっていますね。 紅葉が見頃になるのが待ち遠しいです。 AWSエンジニアの小林です。さて今回は、生成AIアプリの開発プラットフォームとして注目を集めている「 Dify」を扱っていきます。 Difyには…

Amazon Bedrock をTeamsとノーコードで連携する

はじめに 10月に入り、やっと秋らしい感じになってきました。 データ分析エンジニアの木介です。 先日、AWS Chatbotの新機能を利用して、BedrockがTeamsやSlackと簡単に連携できるようになったと発表がありました。 今回は、その内容を確認して、BedrockとTe…

AWS Lambda(Python)でAmazon Bedrockの出力をレスポンスストリーミング対応してみた

こんにちはイワツカです。 今年の夏は、特に猛暑日が続いていたので、例年にも増して素麺を食べてました。 さて今回は、AWS Lambda(Python)でLambda Web Adapterを用いてレスポンスストリーミングする方法を試してみたので紹介します。 1. 概要 1.1 レスポ…

データマイニングの国際学会KDD2024@スペインでは、やはりLLM関連の話題が豊富

皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。)KDD主催のコンペティションKDDCupで入…

RAGの処理で、リランクとベクトル検索でできることの違いを検証/解説してみる

こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と…

Difyで作成した生成AIチャットをWebアプリに組み込む

はじめに 9月に入って、少し涼しくなったと思ったら、また、35℃などになる暑い日が続きますね。 データ分析エンジニアとして毎日充実した時間を過ごしている木介です。 今回はGUIで簡単に生成AIアプリを作成できるDifyで作成したAIアプリを簡単にWebアプリに…

Dify v0.8.0でパラレル処理(並列処理)を活用したワークフローを作成する

こんにちは、バックエンドエンジニアの前田です。 先日、以前自分が書いたコードのコメントが何を伝えたいのかがわからず、いかにわかりやすいコメントを書くことが大事かを身に染みて痛感しました。さて、今回はDifyのアップデートで新規追加された機能「パ…

PythonでPDFからテキスト/表情報の抽出精度を比較してみた

はじめに こんにちは。ついにジム通いを始めて四六時中筋肉痛を感じながら過ごしているイワツカです。 最近はLLM(大規模言語モデル)とRAG(検索拡張生成)を用いて企業内ドキュメントを活用する取り組みが多く見受けられます。 ドキュメントは基本PDFで保…

AWS App Studioで生成AIを活用した簡単ノーコードアプリ開発

はじめに こんにちは。9月に入りようやく涼しさを感じられるようは日が増えてきましたね。 AWSエンジニアの小林です。2024年7月にAmazon Web Services (AWS) からプレビュー版として「AWS App Studio」がリリースされました。 このツールは、生成AIを利用し…

AWS Location ServiceをCDKで構築して地図をカスタマイズしてみた

こんにちは、igaです。 8月ももう終わりですが、まだまだ暑い日が続きますね。私は数年前から日傘を使うようになりましたが、晴れた日に外を歩く際、日傘があると少しだけ体感温度がましになるので、夏は日傘が手放せなくなりました。今回は、AWS Location S…

Amazon DataZone でデータカタログを実現する

はじめに こんにちは一史です。最近自動給水器を買い、ベランダで育てているバジルの水やりを自動化しました。テクノロジーは素晴らしいですね。さて、AWSにはAmazon DataZoneという組織が蓄積した膨大なデータに対して、データの発見、アクセス制御、管理を…

Advanced RAGをAmazon Bedrock Prompt Flowsで作成する

はじめに 夏本番のこの時期、皆様のご様子はいかがでしょうか。データ分析エンジニアの木介です。暑さにも負けず、毎日一歩一歩成長しています。 今回は先日紹介したPrompt Flows for Amazon Bedrockを使ったAdvanced RAGの実装方法についての紹介を行ってい…

Difyで複数のLLMを切り替えるチャットを実現する

こんにちは、バックエンドエンジニアの前田です。 最近、南海トラフ地震の臨時情報や台風などもあったりして、自衛のための事前準備は欠かせないなと思いました。さて、今回はDifyを使って複数の大規模言語モデル(LLM)を切り替えるチャットボットを作って…

Amazon Bedrock の Titan Image Generator で背景差し替え

はじめに こんにちは。パリ五輪はバドミントン混合ダブルスの熱いラリーに見入ってしまいました、コバタカです。ECサイトやカタログなど、商品の画像が必要になる場面は多々ありますが、スタジオで撮影しようとするとコストが嵩んでしまいます。 そんな時に…

ACL2024 参加報告 後半

こんにちは。タイに来ても日本にある食べ物ばかり食べてしまっている@Ssk1029Takashiです。 この記事はACL2024参加報告記事の後半になります。 前半記事はこちらになります。 acro-engineer.hatenablog.com後半記事ということで、本会議最終日からWorkshopま…

ACL2024 参加報告 前半(~3日目)

NLP

こんにちは。タイの気温がほぼ日本と同じでちょっとげんなりしている@Ssk1029Takashiです。 私は自然言語処理の国際学会であるACL2024に参加するため、タイのバンコクに来ています。 2024.aclweb.org今アクロクエストではRAGを用いたプロダクトを開発してお…

Amazon Bedrock Prompt Flowsで生成AIワークフローをGUIで作成する

はじめに 夏真っ盛りのこの時期、いかがお過ごしでしょうか。日々の暑さに負けない、データ分析エンジニアの木介です。 今回は、2024年7月にプレビューとして発表された、「Amazon Bedrock Prompt Flows」を利用して、LLMワークフローを構築してみたいと思い…

AzureでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版(運用編2)

こんにちは、Elastic認定資格3種(※)を保持しているノムラです。 ※Elastic社の公式認定資格(Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer)こちらはAzure編の記事になります。AzureでElasticsearch…

AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版(運用編2)

こんにちは、Elastic認定資格3種(※)を保持しているノムラです。 ※Elastic社の公式認定資格(Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer) こちらはAWS編の記事になります。AWSでElasticsearch(El…

AzureでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版(運用編1)

こんにちは、Elastic認定資格3種(※)を保持しているノムラです。 ※Elastic社の公式認定資格(Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer) こちらはAzure編の記事になります。AzureでElasticsearc…

ChatGPTとOneDriveを連携させて業務効率化

はじめに こんにちは、イワツカです。 最近は湿度と気温が高く蒸し暑いので海やプールで涼みたいものですね。 さて今回は、OpenAIからChatGPTのExcelデータの分析機能が進化したという発表があったので、OneDrive上のファイルをもとにExcelデータをどのよう…

DifyとKnowledge bases for Amazon Bedrockを連携させてRAGを構築する

こんにちは。ベランダで育てていたバジルが虫に食べられてしまいました。ハヤトです。 しかし植物の生命力というのはすごいもので、残った茎から再び葉っぱが成長してきています。次はぜひ私が食べたいものです。さて、成長著しいといえば生成AIアプリ開発の…

AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版(運用編1)

こんにちは、Elastic認定資格3種(※)を保持しているノムラです。 ※Elastic社の公式認定資格(Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer) こちらはAWS編の記事になります。AWSでElasticsearch(El…

Difyを使ってノーコードでAIエージェントを作成する

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) 最近は GPT-4o や Claude 3 を使ったアプリを、…