data engineer why popular

ทำไมอาชีพ Data Engineer ถึงกำลังมาแรงในขณะนี้?

อาชีพ Data Engineer ตอนนี้ถือเป็นอาชีพที่กำลังมาแรงมากครับ แอดคิดว่าเนื่องจากตอนนี้องค์กรต่าง ๆ เริ่มเข้าใจเห็นภาพของการใช้ Data ในองค์กรมากขึ้น

และตำแหน่ง Data Engineer ถือเป็นหัวใจสำคัญที่มาช่วยให้การเก็บข้อมูลในองค์กรเป็นระเบียบมากขึ้น ไม่ว่าจะเป็นการสร้าง Data Pipeline ที่ดึงข้อมูลมาเก็บโดยอัตโนมัติ หรือจะเป็นออกแบบระบบที่ช่วยให้องค์กรเก็บข้อมูลได้มีประสิทธิภาพครับ

data engineer in demand
งาน Data Engineer กำลังเป็นที่ต้องการของตลาด (ข้อมูลจากเดือนกุมภาพันธ์ 2020)

จากข้อมูลของ SEEK ซึ่งเป็นเว็บไซต์จัดหางานอันดับต้น ๆ ในโลก และรองรับตลาดงานในหลายประเทศ (รวมถึงประเทศไทยด้วยครับ) เว็บ SEEK ก็ได้เก็บข้อมูลสำหรับงาน Data Engineer มาว่าในปีล่าสุดมีการเติบโตสูงถึง 137% ซึ่งสูงกว่างาน Data Scientist ที่เติบโตอยู่ที่ 83%

นอกจากนั้น ในเรื่องของเงินเดือนก็สูงไม่แพ้ตำแหน่ง Data Scientist หรืออาจจะสูงกว่าอีกครับ

บทความนี้เขียนขึ้นมาสำหรับคนที่กำลังสนใจเข้ามาทำในสายงานนี้ เพราะช่วงนี้ได้รับข้อความทาง Inbox เพจมาค่อนข้างเยอะไม่ว่าจะเป็นน้อง ๆ นักศึกษาที่กำลังจะจบ รวมไปถึงคนที่สนใจเปลี่ยนสายงาน

สาเหตุที่งาน Data Engineer กำลังมาแรงในขณะนี้ นั่นเพราะ…

1. องค์กรต้องการ Data Engineer

ในปัจจุบันองค์กรมีข้อมูลมากขึ้นเรื่อย ๆ โดยเฉพาะอย่างยิ่งในองค์กรใหญ่ ๆ หรือ Startup ที่กำลังเติบโต ซึ่งพอองค์กรมีข้อมูลมากขึ้นแล้ว ก็ย่อมต้องการนำข้อมูลเหล่านี้มาใช้ให้เกิดประโยชน์สูงสุดครับ

data science work model build machine learning
กระบวนการทำงานของ Data Scientist ตั้งแต่ต้นจนจบ

จากรูป Data Science Process ด้านบน จะเห็นว่า Data Scientist เป็นผู้ที่นำข้อมูลมาใช้สร้างโมเดลครับ แต่ในรูปนี้เราจะไม่เห็นว่าใครเป็นคนจัดเตรียมข้อมูลใส่ Data Warehouse ให้ Data Scientist นำไปใช้ได้ง่าย และใครเป็นคนที่จะมาช่วยนำโมเดลขึ้นไปใช้งานจริงในระบบ (หรือที่เราเรียกว่า การนำไปขึ้น Production)

ซึ่งจุดนี้เองเป็นจุดที่ Data Engineer เข้ามาเติมเต็มนั่นเองครับ

data engineer help data scientist
งานของ Data Scientist ที่ Data Engineer เข้ามาช่วย

เราสามารถเห็นได้เลยว่า ถ้าไม่มี Data Engineer การที่จะนำข้อมูลมาใส่ใน Data Warehouse หรือแม้แต่ Data Lake ให้พร้อมใช้ ก็ต้องใช้เวลาของ Data Scientist แทน

ซึ่งก็มาถึงคำถามที่มีคนทักมาถามบ่อยเหมือนกัน ว่า

“ใช้ Data Scientist มาทำงาน Data Engineer ด้วยได้มั้ย?”

แอดมองว่า ถ้าตอนเริ่มต้นในทีมเล็ก ๆ ก็ไม่มีปัญหาครับ อาจจะเขียน Python script ง่าย ๆ มาดึงข้อมูลก็ได้ แอดก็เคยทำ

แต่พอ Scale งานใหญ่ขึ้น ความต้องการมากขึ้น และระบบซับซ้อนมากขึ้น เช่น อยากทำการสร้าง Data Pipeline ที่ดูแลได้ง่าย และทำงานอัตโนมัติ อันนี้ Data Scientist ก็ต้องเรียนรู้เพิ่มอีกเยอะเลยครับ ซึ่งเสียเวลาที่จะเอาไปใช้ทำงานด้าน Data Science ที่เค้าถนัดกว่า

จริงแล้ว Skillset ที่ Data Engineer ต้องมี กับที่ Data Scientist ต้องมี จะไม่ใช่สกิลเดียวกันครับ จะมีสกิลทับซ้อนกันแค่ไม่กี่อย่างเท่านั้นเอง ลองดูรูปด้านล่างได้เลยครับ

data sicentist vs engineer
สกิลของ Data Engineer vs Data Scientist

เพราะฉะนั้น ถ้าองค์กรอยากเก็บข้อมูลอย่างมีคุณภาพ และให้ Data Scientist รวมถึง Data Analyst เอาไปใช้ประโยชน์ได้สูงสุด ก็จำเป็นต้องมี Data Engineer ครับ

ป.ล. ตอนนี้ในไทย องค์กรใหญ่ ๆ ก็หา Data Engineer กันอยู่ เช่น ….. (หาตัวอย่าง Job Ads มาประมาณ 2 ที่)

2. หาคนทำด้าน Data Engineer ยาก เพราะไม่มีสอนทั่วไป

จากข้อที่แล้วเราจะเห็นว่า ความต้องการคนทำ Data Engineer มีมากขึ้นเรื่อย ๆ แต่เป็นเรื่องที่น่าสนใจว่าอาชีพสายนี้ไม่ค่อยมีคนสอน

ขนาดที่แอดลองไปค้นหา Resource ของต่างประเทศ ก็พบว่าคอร์สด้าน Data Science, Machine Learning, หรือ Deep Learning มีเยอะมาก แต่คอร์ส Data Engineer เรียกได้ว่าแทบไม่มีเลยครับ

สาเหตุหนึ่งที่เป็นแบบนี้ ก็เพราะ Data Engineer เป็นอาชีพที่ต้องนำ Technology หลากหลายมาประกอบกันเป็นระบบใหญ่ ซึ่งจำเป็นต้องมีความเข้าใจในหลายเทคโนโลยี และต้องเข้าใจเรื่องการ Integrate สิ่งต่าง ๆ เหล่านี้เข้าด้วยกัน

cloud landscape cncf
Technology ทั้งหมดบนระบบ Cloud ในปัจจุบัน ดูแบบเต็ม ๆ ได้ที่เว็บ CNCF

เช่น การสร้างระบบ Analytics แบบง่าย ๆ ในสมัยก่อน เราอาจจะใช้ Hadoop HDFS เป็น Data Lake, ประมวลผลข้อมูลด้วย Hadoop MapReduce, และเปิดให้ User เข้าถึงข้อมูลด้วย Hive

ส่วนในยุคของ Cloud ถ้าเราใช้ Google Cloud เราก็จะใช้ Google Cloud Storage เป็น Data Lake, ประมวลผลข้อมูลด้วย DataProc, และเปิดให้ User เข้าถึงข้อมูลด้วย Google BigQuery หรือ Google Data Studio

เราจะเห็นว่าในการทำงานอาชีพนี้ มีเทคโนโลยีให้เลือกหยิบมาใช้ และ Integrate กันเยอะมากครับ นอกจากนั้นเทคโนโลยีเหล่านี้ก็อัพเดทเพิ่มฟีเจอร์ใหม่ ๆ ตลอดเวลา เลยทำให้คอร์สต่าง ๆ ออกมาก็จะกลายเป็นเก่าไปได้ครับ

และด้วยความที่คอร์สด้าน Data Engineer นี้มีน้อย และในไทยเรายิ่งหาได้น้อยไปใหญ่ ประกอบกับที่แอดทำงานด้าน Data Engineer มาปีกว่าแล้วรู้สึกว่าเป็นสายงานที่แอดชอบ อยากเอามาแชร์ให้คนไทยได้ทำงานด้านนี้กันมากขึ้น ไม่ว่าจะสนใจทำงานในไทย หรือทำงานในต่างประเทศ

ก็เลยได้ไปคุยกับคุณฝน ที่ทำงานเป็น Machine Learning Engineer และเคยเป็น Data Engineer มาก่อนด้วย ว่าลองมาจัดคอร์ส Data Engineer ที่เป็นภาษาไทยกัน กลายเป็นคอร์ส Road to Data Engineer รุ่นแรกในเดือนกุมภาพันธ์ที่ผ่านมานั่นเองครับ

ทีนี้เราสอนจบมาแล้ว Feedback ดีมากในเรื่องคุณภาพของเนื้อหา แอดก็เลยอยากเอามาเผยแพร่ให้คนอื่น ๆ ที่ไม่มีโอกาสได้มาเรียน แต่สนใจอยากทำงานด้าน Data Engineer ครับ ถ้าสนใจคอร์สนี้ก็อ่านต่อได้เลยคร้าบ

road data engineer feedback
Feedback จากผู้เรียนคอร์ส Road to Data Engineer

คอร์ส Live + ออนไลน์ Road to Data Engineer

[ อัพเดท: ตอนนี้คอร์สของเราปิดรับแล้วนะครับ ]

r2de chart
เนื้อหาในคอร์ส Road to Data Engineer ตั้งแต่ต้นจนจบ

ในคอร์สนี้ เราจะสอนตั้งแต่พื้นฐานของงาน Data Engineer เลย เพื่อให้ได้ประโยชน์สูงสุดกับคนที่ยังไม่มีพื้นฐาน และเราจะเรียนกันจนสร้าง Data Pipeline ที่เสร็จสมบูรณ์ โดยใช้เทคโนโลยีเดียวกับที่บริษัทระดับโลกต่าง ๆ ใช้เลยครับ

เทคโนโลยีที่เราใช้ในคอร์สนี้ สามารถเอาไปใช้สร้าง Data Pipeline จริงที่บริษัทได้เลยครับ เพราะแอดเพิ่งคุยกับสมาชิกเพจท่านหนึ่งมา เค้าบอกว่าที่บริษัทของเค้าใช้ Stack เดียวกับที่เราสอนเลยครับ บังเอิญมาก (Google Cloud Storage + Google BigQuery + Google Data Studio)

และเนื่องจากผมและคุณฝนอยากให้คนที่เรียนคอร์สนี้ได้รับประโยชน์สูงสุด ก็เลยคุยกันว่าสำหรับคอร์สออนไลน์รุ่นแรก เราจะจัดแบบพิเศษหน่อย คือ มีการ Live สอน Workshop แบบ Real-time, Live Q&A ตอบคำถามในแต่ละบทเรียน และมีการสร้าง Community ให้ทุกคนเข้ามาคุยกัน หรือหางานกันได้บน Facebook Group

road to data engineer calendar
ตารางเรียนคอร์ส Road to Data Engineer รุ่นที่กำลังจะเปิด

นอกจากนั้น เรายังมีส่วนที่พิเศษสุด ๆ คือ เราได้เชิญ Guest Speaker คนเก่ง ๆ ที่ทำงานในสาย Data และสายใกล้เคียงมาเล่าให้เราฟังว่างานของเค้าเป็นอย่างไร เพื่อให้คนเรียนได้เข้าใจงานสายต่าง ๆ มากขึ้น และเลือกสายงานที่ตัวเองชอบได้ครับ

โดยคอร์สแบบ Live + ออนไลน์อันนี้ เราจะจัดกันน่าจะครั้งเดียวในปีนี้ครับ เพราะคุณฝนกำลังเรียนปริญญาโทที่ Georgia Tech อยู่ และหลังจากที่สอนเสร็จก็เปิดเทอมพอดี T_T

road to data eng cover
มาเรียนกันนะคร้าบ

และหากมีคำถามอะไร ก็ทักมาที่ Inbox เพจ DataTH ได้เลยนะครับ

ป.ล. สำหรับนักศึกษาปริญญาตรีหรือต่ำกว่า ที่ต้องการเรียนคอร์สนี้ สามารถอีเมลมาขอคูปองที่แอดได้ครับ มีส่วนลดให้อีก 40% ไปเลย เพราะอยากให้ได้มีโอกาสเรียนไปทำงานเป็น Data Engineer กันเยอะ ๆ คร้าบ

บทความอื่น ๆ ที่เกี่ยวข้อง

ผู้เขียน

Leave a comment

Your email address will not be published. Required fields are marked *

บทความแนะนำ