【デジタルテクノロジー戦略本部】事業部横断データエンジニア(上流から実装まで一気通貫で担当)

• データサイエンティスト

■デジタルテクノロジー戦略本部
アプリケーションエンジニア、インフラエンジニア、WEBマーケター、データエンジニア、AI開発エンジニアなど、様々な社員が在籍しており、一般的な情報システム部門のような社内向け業務システムの開発・保守・運用やインフラ整備のみならず、ビジネスサイドが抱える悩みやニーズに対して全社横断のテクノロジー部門として最適なソリューションを提案し、グループ全体の技術力の向上を目指している部門です。

<チームのミッション(目指している方向性)>
◆チームのミッション
テクノロジーを駆使して効率的かつビジネス的価値の高いデータ基盤を構築し、データの利活用を促進する。

◆目指している方向性
テクノロジーを駆使して手間を少なくかつ価値の高いデータ基盤やその周辺のデータ利活用環境の整備を行っていきます。
既存の開発業務は外注比率が高いですが、当チームの立ち上げに伴い、今後は内製によるシステム開発比率を上げていき、開発や意思決定の高速化へと繋げていきます。また、技術や業務知識などの知見・ノウハウを社内に溜める効果にも期待しています。

<仕事概要>
当社のデータ基盤の構築・運用やデータ基盤・データ利活用環境を最新テクノロジーを利用した構造へと変革するモダナイゼーションなどを目的とした上流工程から、プログラミングやクラウドインフラ構築などの開発工程も行う内製主体のエンジニアリング業務を行います。

<業務詳細>
現在、社内にはいくつかのデータ基盤が存在しており、それぞれが個々に運用されている状態です。このような状態のため、横断的なデータ活用への障壁になっている状態です。
これらを1カ所のデータ基盤に統合することで、データガバナンスの向上やデータマネジメントの効率化を行っていきたいと考えています。
まずは、いくつかあるデータ基盤のうち、オンプレミスで稼働中のデータ基盤を対象に、Snowflakeとdbtを使ったクラウドデータウェアハウスに作り替えることを内製で構築検証をしています。このようなSnowflakeとdbtを用いたデータ基盤へ作り替える開発業務に携わっていただきます。

また、今後は以下のようなことも構想しています。

・他のデータ基盤とのデータ統合を進める
・現状のデータ基盤に関する定常作業を削減・低減できるような方法に刷新し、運用負荷を減らす(自動化やCI/CD/IaC化など)
・dbtやOpenMetadataなどを用いたデータカタログの充実化
・Python等を用いてデータ基盤のデータを観察・分析することで、
システム部門発信でのデータ利活用やデータシステムを当社のビジネスサイドへ提案・提供する
・その他、データ利活用が促進できるような様々な施策

上記のように新しく拡大していくような業務もありますが、それ以外にデータ基盤の定常運用作業もあります。このような定常運用業務をいかに自動化などの工夫をしながら効率化し、クリエイティブな仕事の比率を上げていけるかという点にも重点を置いています。

■プログラミング言語・開発環境
・Python
・SQL(dbt & Snowflake)
・Git/Github
・Terraform
・Docker
・AWS (今後の状況により、EC2/S3/MWAA/Fargate/Batch/App Runner/ECSなどを利用する可能性が高いです)

変更の範囲の制限なし

【募集枠:1名】

■SQLを利用した実務経験2年以上
■Python経験1年以上(自学含む)もしくは何らかのプログラミング言語経験3年以上
■Gitを利用したシステム開発経験(自学含む。チームによる複数メンバーでの並行開発経験であれば尚良し)
■AWS/GCP/Azureなどのクラウドを利用したシステム開発の経験
■プログラミング、クラウド、データ分析・利活用への強い興味・関心

■SnowflakeもしくはBigQueryの利用経験
■dbtを利用したデータパイプライン構築・運用経験
■統計、数理最適化、機械学習などの数学を利用したシステム開発経験
■データベース・SQLのパフォーマンスチューニング、プログラムの高速化経験
■KVS等のNoSQLデータストアの利用経験
■データベースやデータストアの製品選定やアーキテクチャ設計の経験