CVPR2020参加記「本会議に参加、面白い論文が増えた」 #cvpr2020

皆さんこんにちは
@tereka114です。
CVPRの本会議が一通り終了して落ち着いたので、その内容を紹介していきます。

※CVPR2020については、次のリンクをご覧ください。
acro-engineer.hatenablog.com

Opening

Openingでは、参加者の統計情報やAwardなどが紹介されていきます。
ここは主要な統計情報を紹介します。
参加者数は7000人程度で、2年前のCVPRと同程度です。やはり、コロナウィルスの影響が出ています。

参加者と異なり、論文数は今年も上昇しています。
Oral/Posterへの参加者は純粋に論文の品質で決まるそうで、採択率は下がっています。
1467本の論文が採択されているため、この中から面白い論文を探し出し、チェックしていく必要があります。
（全てチェックするのはやはり無理でした）

国別の著者数です。圧倒的に中国とアメリカが多いです。
日本は1.7%程度の著者数で大きく開きがありますね。

提出された論文の領域の一覧です。
今年から、AIの説明に関するExplainable AIやFairnessといったAIの公平性に焦点を当てたものも一分野として成立しています。

参加してみて感じたこととして、特にTransfer Learningあたりは増えたと感じています。
これに類するOralのセッションが3つ開催されていました。

Oral/Poster

毎年のCVPR同様、OralとPosterがあります。
Oralでは、5分間の発表が行われ、Posterでは1分の発表が行われます。
どちらも収録済の動画を選び、各自見ていく形式での開催方式です。

動画を見るだけならば、実はPDT時間で参加する必要はなく、任意の時間で見ることも可能です。
今年参加して感じたこととして、昔からのImageNetで精度が上がった、もしくは、ブロック芸のような論文は減りつつある印象です。
Oralには、Transfer Learning、弱教師なし学習、その他学習系のトリックも含まれており、非常に面白い論文も多かったです。

私自身が特に面白いと感じた論文は次のとおりです。

• Erasing Integrated Learning: A Simple Yet Effective Approach for Weakly Supervised Object Localization
• Few-Shot Pill Recognition
• BBN: Bilateral-Branch Network With Cumulative Learning for Long-Tailed Visual Recognition
• Don’t Hit Me! Glass Detection in Real-world Scenes
• ActBERT: Learning Global-Local Video-Text Representations

※「Erasing Integrated Learning: A Simple Yet Effective Approach for Weakly Supervised Object Localization」は「第三回　全日本コンピュータビジョン勉強会（前編）」で紹介する予定です。
kantocv.connpass.com

KeyNote

今年は、KeyNoteがありました。
2年前にCVPRに参加した際にはなかったコンテンツだったように感じます。
KeyNoteとして、Microsoft社のChief Executive OfficerであるSatya Nadella氏とAmazonのVice PresidentのCharlie Bell氏のインタビューが別々にありました。
コロナウィルス下の変化、各社でのComputer Visionへ期待することの話があり、実社会と改めて近い分野であることを実感しました。

最後に

CVPR2020参加前はどうなるのだろうと思っていたところもありました。
現地の会場でなくても、論文を一気に読むことができ、トレンドを吸収できるのはやはりいいものだと思いました。
しかし、現地の雰囲気から感じられるものもあるので、無事にコロナが収まれば、来年は現地で参加したいと思っています。

Acroquest Technologyでは、キャリア採用を行っています。

• ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
• Elasticsearch等を使ったデータ収集／分析／可視化
• マイクロサービス、DevOps、最新のOSSを利用する開発プロジェクト
• 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Kaggle Masterと働きたい尖ったエンジニアWanted！ - Acroquest Technology株式会社のデータサイエンティストの求人 - Wantedlywww.wantedly.com

CVPR2020参加記「初めてのバーチャル開催、チュートリアルが充実」 #cvpr2020

皆さんこんにちは。
@tereka114です。

今週からCVPR2020がはじまりました。
本記事では初日と2日目に参加したWorkshop/Turtorialを紹介します。

CVPR2020

CVPR2020の正式名称は「Computer Vision and Pattern Recognition」です。
6月14日〜19日まで開催されています（時間はPDT）
これは、アメリカのコンピュータビジョンの国内学会で、毎年非常に盛り上がっています。

今回、私は1年ぶりに参加しています。
コロナウィルスの影響で現地開催ではなく、バーチャル開催になりました。
PDT（日本から16時間遅れ）の時間とそれから12時間後に動画が放送されています。

日本にいながら、私はシアトル時間で参加しています。
普段の現地参加と異なり、太陽の時間がずれているので、体調を整えるのが難しい感覚です。

cvpr2020.thecvf.com

自動運転技術の基本を学べるチュートリアル

初日はチュートリアル「All About Self-Driving」に参加しました。
www.allaboutselfdriving.com

このチュートリアルでは、Zoomのセミナー機能を利用し、既に収録されている動画が放映されます。
途中でSlidoから質問を拾い、質疑応答を行っていました。

このチュートリアルは、自動運転技術に必要なことを包括的に紹介していました。
例えば、ハードウェア（LiDAR、RADERなど）からソフトウェア（物体検出、予測、コントロール方法など）のそれぞれの種類と長短の説明がありました。
私自身、自動運転技術の細かいハードウェアや方式にはあまり馴染みがないところもあったので、新しく得られた学びも多かったです。

2日目：深度推定と最適化

2日目は午前と午後で異なるセッションに参加していました。

Learning and understanding single image depth estimation in the wild

公式ページで動画が公開されているので、それを見てました。
質問は発表時間中にリアルタイムで受け付けていました。

単眼深度推定のチュートリアルで、深度推定を行う上での仕組み（視差）、データセット、そして、各種アルゴリズムの紹介が行われていました。
新しい分野でも包括的に学べて、資料も公開され、後で振り返られるのが良いところです。

sites.google.com

From NAS to HPO: Automated Deep Learning

このチュートリアルはハイパーパラメータとアーキテクチャのチューニングの話です。
機械学習には多くのハイパーパラメータが存在し、そのパラメータを調整する方法も知られています。
また、最近だと、ニューラルネットワークの構造を自動的に計算する方式もあるので、その件も紹介されていました。

ハンズオン付きで実装もあるので、いざ試してみたい！と思った時に便利そうなのはありがたいことです。
hangzhang.org

最後に

明日からCVPRのメインカンファレンスです。
前年よりも論文数が多く、盛り上がっているなぁと感じています。
ぱっと見面白そうな論文も見られるので、きちんと読んで楽しみたいと思います！

Acroquest Technologyでは、キャリア採用を行っています。

• ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
• Elasticsearch等を使ったデータ収集／分析／可視化
• マイクロサービス、DevOps、最新のOSSを利用する開発プロジェクト
• 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Kaggle Masterと働きたい尖ったエンジニアWanted！ - Acroquest Technology株式会社のデータサイエンティストの求人 - Wantedlywww.wantedly.com

RustのCI環境でクロスコンパイルを行う

こんにちは
@maron8676です

今回は、RustプロジェクトでのCI環境構築について紹介します。
最近、自然言語処理のエンジン開発をRustで行っており、その中で実際に試した内容となっています。

Rust

Rustは安全性を担保しつつ、高速なアプリケーションを開発するのに便利なプログラミング言語です。
例えば、以下のような特徴があります。

1. 同じ値の種類でも、不変な変数と可変な変数では別の型になっており、意図しない変更をコンパイルエラーとして検知できる
2. ポインタの有効範囲がプログラムで示されるため、無効なアドレスへの参照をコンパイルエラーとして検知できる

公式ページには、以下のように書かれています。

RustはMozillaとコミュニティによって作成された、オープンソースのプログラミング言語です。
開発者が最新のマルチコアプロセッサの強力な機能を最大限に活用して、高速で安全なアプリケーションを作成できるように設計されたおり、セグメンテーション違反を防ぎ、スレッドの安全性を保証します。

バイナリの自動作成

Rustで書かれたプログラムを実行するには、実行環境に合わせてコンパイルを行い、実行可能バイナリを作成する必要があります。
Rustのコンパイルは他言語と比較して遅めなので、pushなどをトリガーにしてコンパイルを行います。
実行可能バイナリを作成できるとすぐにバイナリを利用できて便利です。
ここでは、GitLab CI/CDを使ってWindows用バイナリを自動作成する方法を紹介します。

通常のビルド、実行手順

CI環境のビルド方法を見る前に、通常ローカルPCで行うビルド、実行手順について見ていきましょう。
Rustには、cargoというコマンドが含まれています。
このコマンドでビルド、パッケージ管理、ドキュメント生成といった、開発に必要な作業を簡単に行うことができます。

では、ビルド手順を見ていきます。コマンドプロンプトでプロジェクトディレクトリまで移動して、

cargo build

を実行することで、プロジェクトをビルドできます。
--release オプションを付けると、プロダクションビルドできます。
ビルドが成功した場合は、

cargo run

でプログラムを実行できます。
ビルドが成功した時点で、プロジェクトディレクトリのtarget配下にexeファイルが作成されています。
そのため、その場所まで移動したり、ファイルを移動したりして、直接実行も可能です。

CI環境でのビルド手順(GitLab CI/CD パイプライン設定)

全体としては以下のようになります。
こちらを実行することで、GitLabCIのPipelinesからビルド結果のファイルをダウンロードできるようになります。

image: ubuntu:18.04  # 1. image選択

variables:
  TOOLCHAIN: "1.41.1"
  TARGET: "x86_64-pc-windows-gnu"

build:
  script:
    - apt update && apt install -y --no-install-recommends ca-certificates curl gcc g++ g++-mingw-w64-x86-64 # 2. 必要なパッケージのインストール
    - curl https://sh.rustup.rs -sSf | sh -s -- -y --default-toolchain $TOOLCHAIN -t $TARGET # 3. Rustのインストール
    - export CARGO_TARGET_X86_64_PC_WINDOWS_GNU_LINKER=x86_64-w64-mingw32-gcc CC_x86_64_pc_windows_gnu=x86_64-w64-mingw32-gcc-posix CXX_x86_64_pc_windows_gnu=x86_64-w64-mingw32-g++-posix # 4. 環境変数の設定
    - cargo build --target $TARGET # 5. ビルド
  artifacts:
    paths:
      - target/x86_64-pc-windows-gnu/release/my_project.exe # 6. 成果物の保存

各要素の説明

1. image選択
   実はRust公式のdockerイメージ(debianベース)があるのですが、
   debianベースで試行錯誤してもwindows用コンパイルを成功させることができなかったため、
   cross*1を参考にして、ubuntuベースで作ることにしました。
   　
2. 必要なパッケージのインストール
   scriptの１行目では、Rustのインストールに必要なca-certificatesとcurl 、ビルド時に必要なgcc関連をインストールしています。
   　
3. Rustのインストール
   scriptの２行目では、Rustをインストールしています。
   インストール時に--default-toolchainオプションでRustバージョンを、
   -tオプションでビルドターゲットに加える内容を指定できます。
   　
4. 環境変数の設定
   scriptの３行目では、ビルド設定に関わる環境変数を設定しています。
   　
5. ビルド
   scriptの４行目でビルドを行っています。
   cargo buildコマンドに--targetオプションを付けることで、ビルドターゲットを指定できます。
   今回はWindows64bitをターゲットにしています。
   　
6. 成果物の保存
   ビルド結果は所定の場所にできるため、成果物として登録しています。
   ファイル名がmy_project.exeとなっていますが、これはCargo.tomlのnameに書かれた文字列が使われます。

まとめ

本記事では、RustプロジェクトをクロスコンパイルするCI設定について紹介しました。
ビルドの遅さをカバーして、実行時だけでなく開発や動作確認のスピードも上げていきたいですね。

Acroquest Technologyでは、キャリア採用を行っています。

• ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
• Elasticsearch等を使ったデータ収集／分析／可視化
• マイクロサービス、DevOps、最新のOSSを利用する開発プロジェクト
• 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。
モノリシックなアプリケーションをマイクロサービス化したいエンジニア募集！ - Acroquest Technology株式会社のWebエンジニアの求人 - Wantedlywww.wantedly.com

*1:crossは実行環境でdockerが使えることを前提としているので、
CIジョブのランナーとしてdockerコンテナを使用する場合は、docker in dockerとなってしまいビルドできません。

GiNZAの固有表現抽出とElasticsearchを使って自動でタグ検索

こんにちは。@Ssk1029Takashiです。
最近は家でもどうにかラーメンを食べられないかと試行錯誤しています。

タグ検索とは、キーワード検索とは違い、検索する前からユーザーが選択肢からキーワードをセレクトボックスなどで選んで、検索できる検索方法です。
通常のキーワード検索と違って、ユーザーが0からキーワードを考える必要がないため、効率的に情報を絞り込めます。
もしくは、キーワード検索と併用して使用することも可能です。

ただ、コンテンツごとにタグを設定するのはとても手間がかかります。
コンテンツ作成者も必ずしもタグを設定してくれるとは限りません。
このような時に、自動でタグ付けをしてくれる仕組みがあると楽にタグ検索を実現できます。

ただ、単純な形態素解析で名詞をタグとすると、ゴミが多くなってしまいます。
そこで、今回は、日本語処理ライブラリであるGiNZAの固有表現抽出機能とElasticsearchを使って、簡易的にタグ検索を実現してみます。

今回のゴール

タグ検索というと、以下の画面のようにタグをチェックボックスで選択して、選択したタグによって検索結果が変わる画面が一般的です。

今回目指すのは上記の検索のデータ投入・検索クエリを作成していきます。

今回書かないこと

本記事は以下のことは対象外としています。
1. 検索画面の実装
2. Elasticsearchの基本的なクエリの使い方

GiNZAとは

GiNZAについては、過去にブログで紹介しているので、詳細はそちらを参照してください。
acro-engineer.hatenablog.com

今回はこのGiNZAの固有表現抽出をタグ付けに使用していきます。

固有表現抽出とは

固有表現抽出とは、自然言語処理技術のうちの一つで、文章中から人名・組織名・地名などの固有名詞や、「100%」などの数値表現を抽出する技術です。
一般的には、以下の8つのクラスが固有表現のクラスとして抽出されます。
ART 固有物名、LOC（地名）、ORG（組織）、PSN（人名）、DAT（日付）TIM（時間）、MNY（金額）、PNT（割合）

どういうときに使われるかというと、例えば、未知語を辞書登録するために固有名詞を抽出したり、人名・企業名を抽出してプライバシー保護に使用したりなどが考えられます。

GiNZAの場合、より細かいクラスを定義しています。
拡張固有表現階層　定義
GiNZAはGSK2014-A (2019) BCCWJ版という、上記の固有表現クラスを定義したコーパスで学習されたモデルをもとに固有表現抽出を行います。

非常に細かく固有表現を分類しているので、より詳細な分析ができるようになっています。

今回は、文章中の固有表現はその文章の中心的な話題を示すことが多いのではないか仮定して、タグ検索に応用してみます。

どうやって解決するか

以下に概略図を書きました。

つまり、本文とは別にGiNZAで固有表現として抽出したキーワードをタグとしてElasticsearchに投入します。
検索時はタグとして投入したキーワードの一覧を取得します。

GiNZAでの固有表現抽出

まず、GiNZAで固有表現抽出を試してみましょう。

実際に動かすコードは以下のようになります。

import spacy

nlp = spacy.load('ja_ginza')
doc = nlp("Acroquestは新横浜にある会社です。")

for ent in doc.ents:
    print(ent.text, ent.start_char, ent.end_char, ent.label_)

出力結果

Acroquest 0 9 Company
新横浜 10 13 City

ちゃんと「Acroquest」を会社、「新横浜」を地名と認識しています。

また、Spacyには固有表現抽出された結果をより分かりやすく可視化する機能もあります。

from spacy import displacy

displacy.render(doc, style="ent", jupyter=True)

結果

このように、文章のどの単語が固有表現として抽出されたのかを一目で確認できます。

検索に応用する

それではElasticsearchと固有表現抽出を使ったタグ検索を実現していきます。

検索データを作る

コードにすると以下のようになります。

nlp = spacy.load('ja_ginza')
es_client = Elasticsearch()

for title, sentence in zip(titles, sentences):
  doc = nlp(sentence)
  tags = [ent.text.lower() for ent in doc.ents]
  tags = list(set(tags)) #重複するタグを削除
  document = {
      "title": title,
      "sentence": sentence,
      "tag": tags
  }
  es_client.index(index="content", doc_type="_doc", body=document)

各フィールドの値は以下のようにします。

フィールド	説明
title	記事のタイトル（画面表示用に投入）
sentence	記事本文
tag	記事から固有表現抽出で作成したタグ

試しに、このブログのここ最近の冒頭文とタイトルを入れてみました。
Elasticsearchに投入後は、以下のようにデータが登録されます。
（抜粋）

{
    "title": "LINE BotとAmazon Rekognitionでワーク＆ライフハック",
    "sentence": """
こんにちは、DevOpsエンジニアの横山です。
今回は、LINE BotとAWSの画像分析サービスを使って社員のワーク＆ライフハックを行った内容を紹介したいと思います。
             """,
          "tag": [
        "line bot",
        "社員",
        "aws",
        "横山",
        "devopsエンジニア"
    ]
},
{
    "title" : "ANGEL Dojo最終発表で「アライアンス賞」を受賞しました！",
    "sentence" : """
こんにちは！
2年目エンジニアの古賀です。
先日ブログで紹介したANGEL Dojoですが、 2020年3月6日、最終発表があり、AWSの審査員の方々が選ぶ「アライアンス賞」を受賞しました！
上位３チームに選ばれると貰える賞の１つで、 今回がんばってきたことが１つの形になって、とても嬉しいです。
アライアンス賞の詳細は後ほど^^
※ANGEL Dojo とは、AWS様主催の疑似プロジェクトを通して、 クラウド開発力とAmazonの文化を学び、ビジネスで日本を元気にしよう！ という企画です。
       """,
    "tag" : [
      "2020年3月6日",
      "上位３チーム",
      "angel dojo",
      "aws",
      "2年",
      "古賀",
      "日本",
      "アライアンス賞",
      "amazon",
      "審査員",
      "１つ",
      "目エンジニア"
    ]
  }
},

入ったタグをKibanaのタグクラウドで見てみると以下のようになります。

最近記事が多かったANGEL DojoやAutoGluonなどの単語が拾えていますね。

数値表現や日付が混じってしまっていますが、GiNZAは固有表現で識別したクラスも取得できるので、数値や日付はフィルタするようにすればより精度が高く抽出できます。

検索する

データが入れば、次は検索してみましょう。
タグ検索には以下の２ステップが必要です。
1. タグの一覧取得
2. 選択したタグでの検索

１のタグ一覧の取得はtagフィールドに対して、Terms Aggregationを実行することで取得できます。

GET content/_search
{
  "size": 0,
  "aggs": {
    "terms": {
      "terms": {
        "field": "tag",
        "size": 10
      }
    }
  }
}

上のクエリで、tagをリストを出現数順に取得することができます。

２の選択したタグでの検索は、１で取得したタグから選択した値をtagフィールドにTerms Queryで検索することで取得できます。

GET content/_search
{
  "size": 0,
  "aggs": {
    "terms": {
      "terms": {
        "field": "tag",
        "size": 10
      }
    }
  }
}

以上で、GiNZAを使ったタグ検索は実現できます。

画面にすると以下のようになります。

0からキーワードを考えるよりも、なんとなくでも文書の内容がわかったほうが探しやすいですね。

まとめ

GiNZAの固有表現抽出とElasticsearchを使って自動でタグ検索を実現してみました。
改善点としては、数詞や日付が入ってしまっているので、抽出されたタグから固有表現のクラスでフィルタリングするとより精度の高いタグ検索が可能になります。
GiNZAは3.0から固有表現のクラスがより細かくなっているため、扱いやすくなっています。

それでは、皆さんもよいNLPライフを。

Acroquest Technologyでは、キャリア採用を行っています。

• ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
• Elasticsearch等を使ったデータ収集／分析／可視化
• マイクロサービス、DevOps、最新のOSSを利用する開発プロジェクト
• 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。
Kaggle Masterと働きたい尖ったエンジニアWanted！ - Acroquest Technology株式会社のデータサイエンティストの求人 - Wantedlywww.wantedly.com

Elastic{ON} Americas East 最速レポート！

こんにちは、Elastic Certified Engineerの@shin0higuchiです😊

日本時間4/23(木)22:00から、Elastic{ON} Americas Eastが、Webinar形式で開催されました。
例年、Elatic{ON} Tourという形で開催されていましたが、今年はCOVID-19の影響でオンライン開催に変更されています。
（Elastic COVID-19 update | Elastic Blog を読むと経緯がわかります。）

COVID-19は早く収束してほしいですが、海外のイベントに自宅から参加できるのは嬉しいですね。
今回は、若手数名で参加したので、オムニバス形式で内容のまとめ・感想を書いて行きたいと思います！
※スクリーンキャプチャを利用していますが、ブログでの利用許可を主催者側に得ています。

Keynote

Elastic Certified Engineerのノムラです。
Keynoteは主にElastic社の3つのソリューションについての紹介の話でした。

シャイの眼鏡姿が新鮮ですね(笑)

Elastic社の3つのソリューションについての紹介

３つのソリューションとは

• Search
• Observability
• Security

のことです。
この３つのソリューションに紐づくサービスについて、デモも交えながらの紹介でした。

各サービスの中でも個人的にはSearchのサービスの１つであるWorkplace Searchが印象的でした。
www.elastic.co
エンタープライズサーチにおいて、かなり強力なソリューションになりそうだと感じました。
GUIから簡単にリソースを連携/登録できるのが利用する際に便利そうです。

また、GUIでマーケティング、開発、ファイナンスのようなグループを作成することができ、各グループにユーザを登録できます。
そのグループ毎に検索可能なリソースを割り当てることで「他グループには見せたくない」情報やドキュメントを管理できるのも魅力的だと感じました。

Combining Logs, Metrics, and Traces for Unified Observability

4年目エンジニアの緑川です。
このセッションでは、Logs, Metric, APM, Uptimeなど、複数のデータを1つのダッシュボードに統合し可視化していました。
Elastic Common Schemaにより、ソースが異なるデータもフォーマットが統一されるため、
分析が簡単に出来るようになっているので便利ですね。

Search for All with Elastic Workplace Search

Workplace searchは、Google DriveやDropbox、Sharepointなどの異なるデータソースに保存されているデータを横断して検索可能です。
普段自分も、SharepointやOneDriveなど、複数のサービスを利用していますが、
自分が欲しい情報がどこにあるのかを探すのに時間がかかるため、非効率だと感じていました。
横断的に検索して見つけられる、かつ、UIから用意されたコネクタを設定するだけなので、お手軽で便利そうです。

Bandwidth: Use Cases for Elastic Cloud on Kubernetes

Bandwidth社における、Elastic Cloud on Kubernetes（ECK）の事例紹介。

Bandwidth社は、いわゆるCPaaS（communications platform as a service）の企業です。
www.bandwidth.com
クラスタの規模が大きいことや、PaaSという特性上、複数クラスタを運用するコストが課題となっていたようです。

Openshift/k8sの導入、Elastic Cloudの利用開始などの経緯について紹介していました。Ansibleによって複雑なデプロイメントを管理していたのをECKにしたことで運用コストが大幅に下がったということでした。
(学習・導入コストは大きかったが、それを大きく上回る益があったそうです)

Elastic Security: Enterprise Protection Built on the Elastic Stack

Elastic Stackが提供するセキュリティ機能についてのセッション。
分析者のスキルによらず、統一的なセキュリティ分析プラットフォームを提供できることだと思います。
セッションの中では次の３点を挙げていました。

• eliminate blind spots
• stop threats at scale
• arm every analyst

デモの印象として、ひとたびElasticsearchにログを集約する仕組みさえ整えてしまえば、分析者のスキルがなくとも脅威を検出できそうだと感じました。 ちょっと前まで、ElasticsearchのMLでセキュリティ脅威を検出するために、データ加工や検出するためのロジックに頭を悩ませていただけに、感動も一入です。

最近Elasticが特に力を入れている部分だと思うので、今後にさらに期待したいですね😊

Elastic Stack Roadmap Deep Dive

再びノムラです。
本セクションではこれまでのロードマップの中から

• Data Management
• Data Analysis
• Actions & Alerting

についてプレゼンとデモがありました。
その中でも特に印象的だったData Managementについて記載します。

Data Management

昨年新しく追加されたFrozen Indexの機能を踏まえたインデックスライフサイクルとデータストレージの運用についての話でした。
インデックスのライフサイクルに合わせて、

[↑検索頻度高↑]

• Hot
• Warn
• Cold
• Frozen

[↓検索頻度低↓]

と状態を変えていくことでヒープ(メモリ)とディスクをより効率的に利用することができます。

プレゼンではFrozen Idnexの内部的な仕組みについて、解説がありました。
詳細は割愛しますが、検索を高速化するために内部的に保持しているデータをFrozenでは保持しないようにすることでメモリの使用量を節約しているそうです。

上手く活用して大規模データでもコストを抑えられるようにしたいですね。

Elasticsearch on Azure

最後のセッションもノムラがお届けします。
このセッションでは、去年の12月にGAとなったAzureでのElasticsearch Serviceの紹介でした。以下のブログにも詳しく書かれています。
www.elastic.co

セッションの中では、今後のロードマップが発表され、

• Azure Marketplaceの支払いと統合する
• Elasticsearch ServiceでAzure Private Linkを利用可能とする

等によりAzureの他サービスとの統合/連携が簡易になっていくようです。
当社ではAzure上でElasticStackを利用するシーンもあるため、はやく実現して欲しいですね。

最後に

全体を通して、「Elastic Stackだけで全部できる」という点が強調されていたように思います。あらゆるデータを集約し、様々なユースケースにシームレスに対応できる。 改めてElastic Stackのパワーを感じました。

個人的にはWorkplace SearchのGAが近いことや、Endpoint Securityが今後どのようにStackに統合されていくのかは要注目だと感じました。


それでは、今回のレポートはこのあたりで。
お読みいただきありがとうございました😊

Acroquest Technologyでは、キャリア採用を行っています。

• ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
• Elasticsearch等を使ったデータ収集／分析／可視化
• マイクロサービス、DevOps、最新のOSSを利用する開発プロジェクト
• 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

世界初のElastic認定エンジニアと一緒に働きたい人Wanted！ - Acroquest Technology株式会社のデータサイエンティストの求人 - Wantedlywww.wantedly.com

LINE BotとAmazon Rekognitionでワーク＆ライフハック

こんにちは、DevOpsエンジニアの横山です。

今回は、LINE BotとAWSの画像分析サービスを使って社員のワーク＆ライフハックを行った内容を紹介したいと思います。

一緒に飲みに行きたい！

※ここで紹介する件は、2019年12月頃のことで、今はコロナのため、会社として飲み会は禁止されています。

Acroは、社員同士で夕食や飲みに行く機会が多く、私が所属するグループの上司もよく飲みに行っています。
ですが、私は上司と一緒に行く機会が減っていました。

そのため、何かしらの方法で「私も一緒に飲みに行きたい」という思いを上司に伝えられないかと考えました。

そこで目を付けたのが、AcroのLINEグループです。
Acroでは、社員の日常を共有する目的で、ランチや夕食などの様子をLINEに投稿する文化が根付いています。
やるなら面白く盛り上がりそうな方法でできないかと思い、LINEで投稿されてくる写真をうまく活用して、自動で上司にメッセージを送れないかと考えました。

調べてみたところ、LINE BotとAmazon Rekognition（画像解析サービス）でできそうでしたので、それを使って一気に作ってみてました。

飲みに行ってそうな時間帯に上司が映っている写真が流れてきたら、何かしら返信する、というBotです。
Amazon Rekognition（画像解析サービス）は、思っていたよりも簡単に使えて、週末4日くらいで上記ができました。

Botのおかげもあり、一緒に飲みに行く機会も増えました^^
（直接伝えにくかったわけではないですよ。）

また、以下のような写真にも反応して、Bot自体を楽しむことも増え、盛り上げにもなっています^^

（社員旅行で酔いつぶれているときの1シーン）

笑顔で一日をスタート！

次は「笑顔で一日をスタートする」ために取り組みました。

Acroでは、朝のミーティングをチームごとに毎日行っていて、その時にチームの写真をLINEに投稿しています。
これもみんなで共有するというAcroの文化の一つです。
その写真を見て、一日の最初は笑顔で始めたいよね、という声も出てきていました。

上に書いたLINE Botがここでも使えそうと思いました。

今度は、「笑顔」がキーポイントになりますが、これもAmazon Rekognitionで実現できました。
いい笑顔の人には「褒めの言葉」を、笑顔でない人には「声かけ」をするようにしました。

これにより、みんな笑顔で始めようと意識したり、お互いにコミュニケーションも増えました。

今回は、対象者も多くなり、写真の構成も複雑になるため、社員からもいくつか要望があり、細かいチューニングもしています。
（運用するって、やっぱり大変ですね^^）

やってみて感じたこと

このように、LINE BotとAWSのサービスを組み合わせることで、これまで開発がメインではなかった私でも、効果を発揮するサービスを作ることができました。

この一連の流れで大事だと思ったのは、「こんなことをしたい（要求）」からスタートすることでした。
これがあったから、手段にハマることなく、要求の実現にフォーカスし、最速でサービスを作ることができたんだと思います。
（実際、思った以上に受けてもらえたので、私自身驚いています^^）

Acroquest Technologyでは、キャリア採用を行っています。

• ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
• Elasticsearch等を使ったデータ収集／分析／可視化
• マイクロサービス、DevOps、最新のOSSを利用する開発プロジェクト
• 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

顧客のビジネスをインフラから加速するエンジニア募集！ - Acroquest Technology株式会社のインフラエンジニアの求人 - Wantedlywww.wantedly.com

ANGEL Dojo最終発表で「アライアンス賞」を受賞しました！

こんにちは！
2年目エンジニアの古賀です。

先日ブログで紹介したANGEL Dojoですが、 2020年3月6日、最終発表があり、AWSの審査員の方々が選ぶ「アライアンス賞」を受賞しました！
上位３チームに選ばれると貰える賞の１つで、 今回がんばってきたことが１つの形になって、とても嬉しいです。
アライアンス賞の詳細は後ほど^^

※ANGEL Dojo とは、AWS様主催の疑似プロジェクトを通して、 クラウド開発力とAmazonの文化を学び、ビジネスで日本を元気にしよう！ という企画です。
　詳細は、以前のブログ（http://acro-engineer.hatenablog.com/entry/2020/02/21/170000）を是非読んでください。
acro-engineer.hatenablog.com

会議の"質"を向上させる HuNam

私たちのチームが何をつくっていたのかというと、会議の"質"を向上させるためのサービス「HuNam」です！
※HuNam（ヒューナム）という名前は社内公募で決まりました。Human Nature Meeting の略で、人間の本質、人間らしい、といった意味合いです。

日本中にあるとされるムダな会議を、生産的かつ心理的安全性の高い、会議の"質"が高い状態にしたい、という思いでこのサービスを作りました！

会議の参加者が、以下のようなHuNam画面を見ることで、自分の行動をその場で改善し、自律的に会議の"質"を向上させていくことができます。

HuNamの画面

最後まで楽しみながらやりきりました！

発表は、コロナウイルスの影響で、完全リモートで行われました。
リモートの分、どう発表したらインパクトが残せるか試行錯誤した結果、プレゼンをライブ中継しました。

少しトラブルもありましたが、プレゼン形式にしたぶん、プレゼンの臨場感や勢いをアピールできた気がします！

ちなみに、今回我々が作ったサービスは、会議を効率化するためのサービスなので、今後Web対応して、リモートでも使えるようにしたいですね^^

プレゼンの様子

配信風景

アライアンス賞とは？

最終発表を聞いた、AWSの審査員の方々が、以下の観点で選んでくださった賞です。

アライアンス賞
• Working Backwards に沿った企画ができているか
• ビジネス的に興味深い/価値がある内容か
• ソリューション全体の完成度

サービスのコンセプトや、技術面までを総合して選んでくださったようです。
特に今回は、「何をしたらお客様は嬉しいのか」というところを、一生懸命考えたので、そこをしっかり評価して頂き、本当にうれしいです！！

また上位３チームに選ばれたので、2020/3/25に開催される AWS Partner Summit Tokyo で発表するチャンスを頂きました。
頑張って作ったサービスを多くの人に見て頂ける場なので、最後までやり切り、より良いものにしたいです！

アライアンス賞を受賞

受賞を喜ぶAcro ANGEL チームのメンバー

Still Day One

今回のANGEL Dojoをきっかけに、お客様視点に立つことや、クラウド開発のイロハを学ぶことができ、とても貴重な経験でした。
企画してくださったAWS様、支えてくれた先輩方、本当にありがとうございました！

また何より、今回のANGEL Dojoに送り出してくれた社長・副社長に受賞の報告ができ、喜んでもらえたので、嬉しかったです。
最後まで応援してくださり、ありがとうございました！

最後に、今回のANGEL Dojoの企画者の方からお祝いのメッセージと共に頂いた、以下の言葉を紹介したいと思います。

'Still Day One'

Amazonの企業理念で、直訳すると「まだ1日目」。意味としては、「毎日が新しい挑戦の始まり」というところでしょうか。
いい言葉ですね。
よりよいエンジニアになれるよう、謙虚に、チャレンジしていきたいと思います！

技術的な詳細な内容は、また後日ブログにする予定なので、お楽しみに！

Acroquest Technologyでは、キャリア採用を行っています。

• ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
• Elasticsearch等を使ったデータ収集／分析／可視化
• マイクロサービス、DevOps、最新のOSSを利用する開発プロジェクト
• 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長

　

少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Java/PythonでモダンなWeb開発をしたいエンジニアWanted! - Wantedlywww.wantedly.com