データエンジニア(技術部)

• その他

#技術部について
https://livesense-inc.gitbook.io/livesense-engineering-handbook/products/techno

#データプラットフォームグループについて
・6名(うち1名が業務委託)在籍しており、全員データエンジニアとなっています。
・全社の横断組織として、データ収集・蓄積・活用のためのシステムの設計、機能拡張、改善、運用を担い、データエンジニアリングのエキスパートとして、各プロダクトでのデータドリブンな意思決定やユーザ体験の向上のための基礎を支えています。
・Livesense Analytics:データ分析基盤(データ収集・蓄積基盤)
とLivesense Brain:データ活用基盤(推薦・機械学習基盤)の開発・運用を行います。

【プロダクトについて】
リブセンスでは、マッハバイト、転職会議、転職ドラフト、IESHILなど、多数のプロダクトを開発していますが、事業成長のために横断的な専門部署でデータ分析やデータ活用を進めています。その中核として、データ分析(データ収集・蓄積)のための基盤である Livesense Analytics および、推薦・機械学習(データ活用)のための基盤である Livesense Brain を開発・運用しています。

Livesense Analytics では、プロダクトのログデータやアプリケーションデータ、広告等の外部データなど、分析や機械学習に必要なデータを、収集・蓄積・加工し社内に提供しています。主にAWS・Redshiftを用いて開発していますが、現在は、GCP・BigQuery への移行を進めています。
Livesense Brain では、主に、Livesense Analytics が提供するデータを用いて、推薦システムや検索の最適化のための機械学習システム、およびそれらの効率的な改善・運用を支える仕組みを構築・運用しています。主にGCPを用いて開発しています。

【本ポジションに関して】
データエンジニアはすべてのプロダクトに関わる横断部署に所属し、データ収集・蓄積・活用のためのシステムの設計、機能拡張、改善、運用を担い、データエンジニアリングのエキスパートとして、各プロダクトでのデータドリブンな意思決定やユーザ体験の向上のための基礎を支えます。

活動内容はブログでも発信しています。

https://made.livesense.co.jp/
https://analytics.livesense.co.jp

本ポジションの特徴として以下があります。
・大規模かつ多様なデータを統合的に扱う技術スキルや、プロダクトやビジネスへの深い理解と洞察が得られます
・高い専門性を有するメンバーからの協力・助言のもと、自らの興味や志向、スキルに合わせて、自分の仕事の幅を広げていくことができます
・エンジニア以外でSQLを活用できる人が社内に多く在籍しており、データの重要性が理解されている環境で働けます
・GCP, AWS等のサービスを積極的に調査・検証・導入しており、最新技術を実務に取り入れる経験が得られます
・フルリモート(必要に応じて出社も可)で、SlackやGitHub Issue、社内Wikiを活用したテキストコミュニケーションによる効率的な開発業務を実現しています。

【入社後解決してほしい課題点】
・データ基盤のBigQuery移行とクラウド移行
・データ基盤(ELT、推薦、機械学習等)の高度化
課題については以下のブログ記事を参照ください。
リブセンスの「10年物」のデータ基盤を作り変えている話

【具体的な仕事内容】
下記を一例として、自身のご興味や専門性をふまえ、様々な業務を担っていただきます。事業へのインパクトや社内のニーズを踏まえ、能動的にアクションを起こすことが求められます。

・GCP/BigQuery、AWS/Redshiftを用いたデータ収集システムおよびデータウェアハウスの開発
・GCP/GKE を中心とするデータ活用システム基盤の開発、機械学習・統計モデリング等を活用した情報推薦・検索システムの開発
・各事業におけるデータ分析・データマーケティングの支援

【開発環境・利用技術】
・主なプログラミング言語: Python, SQL, Julia, Go, TypeScript
・主なクラウドサービス:Amazon(AWS): Redshift, ECS on EC2/Fargate, Kinesis Data Firehose, MWAA, Lambda
Google(GCP):GKE, Cloud Run, BigQuery, Cloud SQL, Google Analytics
・主な利用技術:Docker, Kubernetes, Argo Workflows, Embulk, PostgreSQL, MySQL, Fluentd, Digdag, Airflow
・主な開発・運用ツール: GitHub, CircleCI, Cronitor, Terraform, Slack

(記入なし)

「データ基盤の利用者への影響を少なく、裏側のシステムを変えるようなフェーズ」から、「リブセンスのデータ基盤を成長させ、かつデータ基盤がリブセンスの成長ドライバーとなることを目指した開発」を行うための人員強化となります。

・PythonまたはGoまたはRubyなどでの1年以上の開発経験
・AWSまたはGCPでのシステム開発・運用の経験
・SQLおよびデータベース設計・データモデリングに関する基礎知識
・BigQuery, Redshift, Snowflake 等のOLAP向けデータベース技術の利用経験

・Webアプリケーションの設計〜開発〜運用の一連のプロセスの経験
・Kubernetes 等のコンテナオーケストレーション技術の利用経験
・Argo Workflows, Airflow, Digdag, Luigi 等を用いたデータパイプライン構築経験
・情報推薦、機械学習、自然言語処理、統計モデリングなどの開発・アルゴリズム実装経験、オフラインテスト・オンラインテスト(A/Bテスト)の経験
・Apache Hadoop, Apache Spark 等の分散処理フレームワークの利用経験
・Google Analytics4、Google Tag Managerの運用経験
・BIツールの導入・運用の経験