11月・在宅併用＼Python経験者必見！／AWS Glue×PySpark★大量データを扱うデータ連携開発｜オンサイト,リモート(福岡県)｜システムエンジニア（SE）

案件内容

Python＋SQL＋AWSを組み合わせ、データ処理・データ連携システムを開発するお仕事です。 大量データを扱うため、一般的なpandas中心の処理ではなく、PySparkによる分散処理をメインに使用します。 「Python開発経験はあるけれど、今後クラウドやデータ基盤にも強くなりたい」という方にピッタリの案件です。 【業務詳細】 ・AWS上に構築されたデータ連携基盤に対する開発支援 ・Python（PySpark）を使用したデータ加工・変換処理の開発 ・大量データを対象としたETLジョブの設計・実装 ・SQLを使用したデータ抽出、加工、集計、検証 ・AWS Glue上で実行するジョブやデータ連携処理の開発 ・基本設計書などの設計資料をもとにした詳細設計・実装 ・テスト仕様に沿った単体／結合テスト、データ検証 ・処理結果やエラー発生時のログ確認、原因調査・改修 ・既存ジョブの仕様確認や処理内容の調査・改善 ・大量データを効率よく処理するためのPySparkコードの最適化 【身に付くスキル】 ・Python／PySparkによる大規模データ処理 ・AWS Glueを中心としたAWSデータ基盤 ・ETL／ELTの設計・開発知識 ・SQLによるデータ操作・検証 ・データパイプラインの設計・構築経験 ・クラウド環境におけるデータエンジニアリング 【スケジュール】 2026年11月～2027年6月 ※延長の可能性あり 【開発環境】 ・AWS：Glue、S3等 ・言語：Python、PySpark ・DB／データ操作：SQL ・データ処理：Apache Spark ・関連技術：ETL／ELT、データ連携基盤 ・その他：Databricksなど

必須スキル

・Pythonを使用した開発経験 ・SQLを使用した開発／データ操作経験 ・AWSの基本的な知識・利用経験 ＼ここがポイント！／ ★ Python経験を活かしてデータエンジニアへ！AWS×PySpark×SQL／博多＋リモート併用 ＼活かせる経験／ ・PythonによるWeb／業務システム・バッチ開発 ・SQLを利用したデータ操作・データベース開発 ・AWSサービスを利用した開発・運用経験 ・Apache Spark／PySparkを利用したデータ処理 ・ETL／ELTやデータ連携システムの開発経験

歓迎スキル

・PySpark／Apache Sparkの実務経験 ・AWS Glueの開発経験 ・ETL／ELTツールの利用経験 ・データ連携システムの開発経験 ・データ分析基盤／データ基盤の構築経験 ・Databricksの利用経験 ・Amazon S3などAWS各種サービスの利用経験 ・大量データを扱うバッチ処理・データ加工経験

募集条件

勤務地

福岡県 / 博多駅より徒歩15分

勤務形態

一部リモート

最寄駅

博多

契約形態

業務委託(フリーランス)

稼働日数

週2から

月額単価

37〜38万円