อาชีพ Data Engineer ตอนนี้ถือเป็นอาชีพที่กำลังมาแรงมากครับ แอดคิดว่าเนื่องจากตอนนี้องค์กรต่าง ๆ เริ่มเข้าใจเห็นภาพของการใช้ Data ในองค์กรมากขึ้น
และตำแหน่ง Data Engineer ถือเป็นหัวใจสำคัญที่มาช่วยให้การเก็บข้อมูลในองค์กรเป็นระเบียบมากขึ้น ไม่ว่าจะเป็นการสร้าง Data Pipeline ที่ดึงข้อมูลมาเก็บโดยอัตโนมัติ หรือจะเป็นออกแบบระบบที่ช่วยให้องค์กรเก็บข้อมูลได้มีประสิทธิภาพครับ
จากข้อมูลของ SEEK ซึ่งเป็นเว็บไซต์จัดหางานอันดับต้น ๆ ในโลก และรองรับตลาดงานในหลายประเทศ (รวมถึงประเทศไทยด้วยครับ) เว็บ SEEK ก็ได้เก็บข้อมูลสำหรับงาน Data Engineer มาว่าในปีล่าสุดมีการเติบโตสูงถึง 137% ซึ่งสูงกว่างาน Data Scientist ที่เติบโตอยู่ที่ 83%
นอกจากนั้น ในเรื่องของเงินเดือนก็สูงไม่แพ้ตำแหน่ง Data Scientist หรืออาจจะสูงกว่าอีกครับ
บทความนี้เขียนขึ้นมาสำหรับคนที่กำลังสนใจเข้ามาทำในสายงานนี้ เพราะช่วงนี้ได้รับข้อความทาง Inbox เพจมาค่อนข้างเยอะไม่ว่าจะเป็นน้อง ๆ นักศึกษาที่กำลังจะจบ รวมไปถึงคนที่สนใจเปลี่ยนสายงาน
สาเหตุที่งาน Data Engineer กำลังมาแรงในขณะนี้ นั่นเพราะ…
1. องค์กรต้องการ Data Engineer
ในปัจจุบันองค์กรมีข้อมูลมากขึ้นเรื่อย ๆ โดยเฉพาะอย่างยิ่งในองค์กรใหญ่ ๆ หรือ Startup ที่กำลังเติบโต ซึ่งพอองค์กรมีข้อมูลมากขึ้นแล้ว ก็ย่อมต้องการนำข้อมูลเหล่านี้มาใช้ให้เกิดประโยชน์สูงสุดครับ
จากรูป Data Science Process ด้านบน จะเห็นว่า Data Scientist เป็นผู้ที่นำข้อมูลมาใช้สร้างโมเดลครับ แต่ในรูปนี้เราจะไม่เห็นว่าใครเป็นคนจัดเตรียมข้อมูลใส่ Data Warehouse ให้ Data Scientist นำไปใช้ได้ง่าย และใครเป็นคนที่จะมาช่วยนำโมเดลขึ้นไปใช้งานจริงในระบบ (หรือที่เราเรียกว่า การนำไปขึ้น Production)
ซึ่งจุดนี้เองเป็นจุดที่ Data Engineer เข้ามาเติมเต็มนั่นเองครับ
เราสามารถเห็นได้เลยว่า ถ้าไม่มี Data Engineer การที่จะนำข้อมูลมาใส่ใน Data Warehouse หรือแม้แต่ Data Lake ให้พร้อมใช้ ก็ต้องใช้เวลาของ Data Scientist แทน
ซึ่งก็มาถึงคำถามที่มีคนทักมาถามบ่อยเหมือนกัน ว่า
“ใช้ Data Scientist มาทำงาน Data Engineer ด้วยได้มั้ย?”
แอดมองว่า ถ้าตอนเริ่มต้นในทีมเล็ก ๆ ก็ไม่มีปัญหาครับ อาจจะเขียน Python script ง่าย ๆ มาดึงข้อมูลก็ได้ แอดก็เคยทำ
แต่พอ Scale งานใหญ่ขึ้น ความต้องการมากขึ้น และระบบซับซ้อนมากขึ้น เช่น อยากทำการสร้าง Data Pipeline ที่ดูแลได้ง่าย และทำงานอัตโนมัติ อันนี้ Data Scientist ก็ต้องเรียนรู้เพิ่มอีกเยอะเลยครับ ซึ่งเสียเวลาที่จะเอาไปใช้ทำงานด้าน Data Science ที่เค้าถนัดกว่า
จริงแล้ว Skillset ที่ Data Engineer ต้องมี กับที่ Data Scientist ต้องมี จะไม่ใช่สกิลเดียวกันครับ จะมีสกิลทับซ้อนกันแค่ไม่กี่อย่างเท่านั้นเอง ลองดูรูปด้านล่างได้เลยครับ
เพราะฉะนั้น ถ้าองค์กรอยากเก็บข้อมูลอย่างมีคุณภาพ และให้ Data Scientist รวมถึง Data Analyst เอาไปใช้ประโยชน์ได้สูงสุด ก็จำเป็นต้องมี Data Engineer ครับ
ป.ล. ตอนนี้ในไทย องค์กรใหญ่ ๆ ก็หา Data Engineer กันอยู่ เช่น ….. (หาตัวอย่าง Job Ads มาประมาณ 2 ที่)
2. หาคนทำด้าน Data Engineer ยาก เพราะไม่มีสอนทั่วไป
จากข้อที่แล้วเราจะเห็นว่า ความต้องการคนทำ Data Engineer มีมากขึ้นเรื่อย ๆ แต่เป็นเรื่องที่น่าสนใจว่าอาชีพสายนี้ไม่ค่อยมีคนสอน
ขนาดที่แอดลองไปค้นหา Resource ของต่างประเทศ ก็พบว่าคอร์สด้าน Data Science, Machine Learning, หรือ Deep Learning มีเยอะมาก แต่คอร์ส Data Engineer เรียกได้ว่าแทบไม่มีเลยครับ
สาเหตุหนึ่งที่เป็นแบบนี้ ก็เพราะ Data Engineer เป็นอาชีพที่ต้องนำ Technology หลากหลายมาประกอบกันเป็นระบบใหญ่ ซึ่งจำเป็นต้องมีความเข้าใจในหลายเทคโนโลยี และต้องเข้าใจเรื่องการ Integrate สิ่งต่าง ๆ เหล่านี้เข้าด้วยกัน
เช่น การสร้างระบบ Analytics แบบง่าย ๆ ในสมัยก่อน เราอาจจะใช้ Hadoop HDFS เป็น Data Lake, ประมวลผลข้อมูลด้วย Hadoop MapReduce, และเปิดให้ User เข้าถึงข้อมูลด้วย Hive
ส่วนในยุคของ Cloud ถ้าเราใช้ Google Cloud เราก็จะใช้ Google Cloud Storage เป็น Data Lake, ประมวลผลข้อมูลด้วย DataProc, และเปิดให้ User เข้าถึงข้อมูลด้วย Google BigQuery หรือ Google Data Studio
เราจะเห็นว่าในการทำงานอาชีพนี้ มีเทคโนโลยีให้เลือกหยิบมาใช้ และ Integrate กันเยอะมากครับ นอกจากนั้นเทคโนโลยีเหล่านี้ก็อัพเดทเพิ่มฟีเจอร์ใหม่ ๆ ตลอดเวลา เลยทำให้คอร์สต่าง ๆ ออกมาก็จะกลายเป็นเก่าไปได้ครับ
และด้วยความที่คอร์สด้าน Data Engineer นี้มีน้อย และในไทยเรายิ่งหาได้น้อยไปใหญ่ ประกอบกับที่แอดทำงานด้าน Data Engineer มาปีกว่าแล้วรู้สึกว่าเป็นสายงานที่แอดชอบ อยากเอามาแชร์ให้คนไทยได้ทำงานด้านนี้กันมากขึ้น ไม่ว่าจะสนใจทำงานในไทย หรือทำงานในต่างประเทศ
ก็เลยได้ไปคุยกับคุณฝน ที่ทำงานเป็น Machine Learning Engineer และเคยเป็น Data Engineer มาก่อนด้วย ว่าลองมาจัดคอร์ส Data Engineer ที่เป็นภาษาไทยกัน กลายเป็นคอร์ส Road to Data Engineer รุ่นแรกในเดือนกุมภาพันธ์ที่ผ่านมานั่นเองครับ
ทีนี้เราสอนจบมาแล้ว Feedback ดีมากในเรื่องคุณภาพของเนื้อหา แอดก็เลยอยากเอามาเผยแพร่ให้คนอื่น ๆ ที่ไม่มีโอกาสได้มาเรียน แต่สนใจอยากทำงานด้าน Data Engineer ครับ ถ้าสนใจคอร์สนี้ก็อ่านต่อได้เลยคร้าบ
คอร์สออนไลน์ Road to Data Engineer
ในคอร์สนี้ เราจะสอนตั้งแต่พื้นฐานของงาน Data Engineer เลย เพื่อให้ได้ประโยชน์สูงสุดกับคนที่ยังไม่มีพื้นฐาน และเราจะเรียนกันจนสร้าง Data Pipeline ที่เสร็จสมบูรณ์ โดยใช้เทคโนโลยีเดียวกับที่บริษัทระดับโลกต่าง ๆ ใช้เลยครับ
เทคโนโลยีที่เราใช้ในคอร์สนี้ สามารถเอาไปใช้สร้าง Data Pipeline จริงที่บริษัทได้เลยครับ เพราะแอดเพิ่งคุยกับสมาชิกเพจท่านหนึ่งมา เค้าบอกว่าที่บริษัทของเค้าใช้ Stack เดียวกับที่เราสอนเลยครับ บังเอิญมาก (Google Cloud Storage + Google BigQuery + Google Data Studio)
และเนื่องจากผมและคุณฝนอยากให้คนที่เรียนคอร์สนี้ได้รับประโยชน์สูงสุด เราจะจัดแบบพิเศษหน่อย คือ มีการ Live สอน Workshop แบบ Real-time และมีการสร้าง Community ให้ทุกคนเข้ามาคุยกัน หรือหางานกันได้ด้วยครับ
นอกจากนั้น เรายังมีส่วนที่พิเศษสุด ๆ คือ เราได้เชิญ Guest Speaker คนเก่ง ๆ ที่ทำงานในสาย Data และสายใกล้เคียงมาเล่าให้เราฟังว่างานของเค้าเป็นอย่างไร เพื่อให้คนเรียนได้เข้าใจงานสายต่าง ๆ มากขึ้น และเลือกสายงานที่ตัวเองชอบได้ครับ
คอร์สสด Road to Data Engineer 2.0
เราจัดคอร์สสดเป็นรอบแรก และรอบเดียวในปี 2021 นี้ครับ ซึ่งเปิดรับสมัครถึง 31 กรกฎาคมนี้เท่านั้น สามารถคลิกที่รูปด้านล่าง หรือปุ่ม เพื่อดูรายละเอียด และลงทะเบียนเรียนได้เลย
และหากมีคำถามอะไร ก็ทักมาที่ Inbox เพจ DataTH ได้เลยนะครับ
ป.ล. สำหรับนักศึกษาปริญญาตรีหรือต่ำกว่า รวมถึงคนที่เพิ่งทำงาน (อายุ 25 ปีหรือต่ำกว่า) ที่ต้องการเรียนคอร์สนี้ สามารถทัก Inbox เพจมาขอคูปองที่แอดได้ครับ มีส่วนลดให้สูงสุด 4,000 บาทไปเลย เพราะอยากให้ได้มีโอกาสเรียนไปทำงานเป็น Data Engineer กันเยอะ ๆ คร้าบ
