データエンジニア　※フレックスタイム制あり

リサーチ・分析、オープン系SE、アプリケーション系SE

東京都品川区西品川１丁目１-１ 各線「…

￥

500万円〜750万円

正社員

仕事内容

【職務概要】
データエンジニアとして、ビッグデータ解析／分散処理基盤開発をお任せします。

【職務詳細】
・Databricks 上に構築された社内向けの新データ基盤の開発・運用
・AWS 上に構築された旧データ基盤の運用
・社内各所の要求に応じた dbt によるデータモデリング
・AWSを利用したビッグデータ解析用分散処理基盤のアーキテクチャ選定から設計
・実装、運用フロー自動化の提案、実装
・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定
・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成
・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI／CDの仕組み作りと維持

■開発環境
クラウドサービス：AWS (S3, Athena, Glue, MWAA, Kinesis, Lambda, etc.)
データ基盤：Databricks, Redash, etc.
データモデリング：dbt
プロビジョニング：Terraform
開発ツール：GitHub, Slack, JIRA

【業務内容変更の範囲】
同社業務全般

応募条件・求められるスキル

【必須】
・pull request ベースでの Python 等のプログラム開発経験（5年以上）
・データ基盤の設計／構築、または運用経験（3年以上）
・SQL によるデータ分析やデータモデリングの経験（3年以上）
・AWS もしくは GCPを利用したサービスの構築経験（3年以上）
・dbtを用いたデータモデルやデータパイプラインの開発経験（1年以上）

【尚可】
・データ基盤チームのチームリードの経験
・Databricks, Snowflake などのプラットフォーム上に構築されたデータ基盤の開発・運用経験
・Terraform による IaC の経験
・Apache Spark 等の分散処理フレームワークを利用した開発経験
・Apache Airflow などのワークフローオーケストレーションを利用した開発経験
・アジャイル（スクラムベース）での開発経験

募集要項

企業情報