Data Engineer Level 4

About

Data Engineer Level 4

เป็นหลักสูตรที่ดำเนินการภายใต้กลุ่มสาขาวิชาเทคโนโลยีการจัดการระบบสารสนเทศ คณะวิศวกรรมศาสตร์ มหาวิทยาลัยมหิดล มีวัตถุประสงค์เพื่อจัดทำหลักสูตรที่มีเนื้อหาครอบคลุมถึง การแปลง ทำความสะอาด และบูรณาการข้อมูลเบื้องต้น การตรวจสอบคุณภาพและการเตรียมข้อมูล การเปรียบเทียบระหว่างฐานข้อมูลแบบสัมพันธ์และ NoSQL และการบริหารจัดการคลังข้อมูลกับ Big Data โดยมีการฝึกปฏิบัติการใช้ Python Pandas, PowerBI, Rapid Miner, และ Apache Airflow นอกจากนี้ยังศึกษาพื้นฐานการ ETL ข้อมูล การออกแบบ ETL Schedule และการใช้งานระบบคลาวด์ รวมถึงการใช้งาน Docker เพื่อสนับสนุนการพัฒนาและการจัดการแอปพลิเคชัน ท้ายที่สุด ผู้เรียนจะได้ฝึกปฏิบัติการแก้ปัญหาองค์กรด้วยแนวทางวิศวกรรมข้อมูลและการจัดการกระบวนการเว็บสเกรปปิ้งจากเว็บไซต์

วัตถุประสงค์ (Objective)

เพื่อเพิ่มพูนความรู้และทักษะที่จำเป็นในการแปลง ทำความสะอาด และบูรณาการข้อมูลเบื้องต้น รวมถึงการตรวจสอบคุณภาพและการเตรียมข้อมูล

เพื่อให้ความรู้เกี่ยวกับการบริหารจัดการคลังข้อมูลและ Big Data การเปรียบเทียบฐานข้อมูลแบบสัมพันธ์และ NoSQL การออกแบบกระบวนการ ETL และการใช้งาน Docker และระบบคลาวด์เพื่อสนับสนุนการพัฒนาแอปพลิเคชัน

⁺

Total number of participants

⁺

Number of sessions conducted

วิธีการฝึกอบรม

การจัดการอบรมเป็นแบบออนไลน์ ประกอบด้วยการอบรมภาคทฤษฎีผ่าน Google Classroom และการอบรมภาคปฏิบัติผ่านระบบ Teleconference (Zoom) โดยในแต่ละสัปดาห์ของการอบรมจะมีการทดลองปฏิบัติตามเนื้อหาการอบรม เพื่อที่จะได้เกิดความรู้ และความเข้าใจมากยิ่งขึ้น โดยมีการวัดผล ดังนี้

คะแนนจากแบบฝึกหัด (Assignment) ในการฝึกอบรม 80%

คะแนนการทดสอบหลังการอบรม (Post Test) 20%

โดยผู้เข้าอบรมต้องเข้าอบรมไม่น้อยกว่า 50% ของระยะเวลาเรียนทั้งหมด และได้คะแนนไม่น้อยกว่า 70% ของคะแนนทั้งหมด จึงจะผ่านการอบรม และได้รับใบประกาศนียบัตร

หัวข้อการอบรม

Week 1

– หลักการพื้นฐานและภาพรวมของวิศวกรรมข้อมูล : การแปลงข้อมูล
การทำความสะอาดข้อมูล
การบูรณาการข้อมูลพื้นฐาน)
– Lab Python Pandas : data importing, data exploration

Week 2

– การตรวจสอบคุณภาพ และเตรียมข้อมูล (Data preparation) :
การตรวจวินิจฉัยข้อมูล
การมองภาพข้อมูล
การประมวลผลคุณลักษณะ
– Lab Python Pandas: data cleansing, data integration and data merging

Week 3

– หลักการเบื้องต้นและการเปรียบเทียบระหว่างฐานข้อมูลแบบสัมพันธ์ และ ฐานข้อมูลแบบ NoSQL
– Lab: Data Normalization
– Lab: Data Visualization with PowerBI/Rapid Miner

Week 4

– ระบบบริหารจัดการคลังข้อมูลหลักการการประยุกต์ใช้เทคโนโลยีทั้ง 3 ร่วมกันเพื่อจัดการการประมวลผล Big Data
– Lab Python Pandas connected DB: MySQL+MariaDB

Week 5

– พื้นฐานการ Extract, Transform, Load (ETL) ข้อมูล
ระบบไฟล์ข้อมูลชนิดต่าง ๆ เช่น json, parquet, etc.
– Lab: Data Pipeline with Apache Airflow

Week 6

– การออกแบบ ETL Schedule
– Lab: Apache AirFlow

Week 7

– หลักการและการทดลองเรื่องการใช้งานระบบคลาวด์ และการดูแลกระบวนการด้านการสำรองข้อมูลพื้นฐานและการรักษาความปลอดภัย
– Cloud data storage คืออะไร สำคัญอย่างไร การใช้งาน
– Cloud security คืออะไร สำคัญอย่างไร การใช้งาน
– แนะนำ Docker

Week 8

– Data Engineering in Real Life
– Lab: โจทย์การปรับใช้แนวทาง data engineer ในการแก้ปัญหาองค์กร
– Case study: web scraping process and management
– การ collect, schedule, clean, and manage data จาก website เพื่อนำใช้ประโยชน์ในด้านต่างๆ