สรุป 5 หน้าที่สำคัญ ในการทำ Big Data Project ตั้งแต่ต้นจนจบ

big data project jobs

สำหรับมือใหม่ที่เพิ่งเข้าสู่วงการการทำ Big Data Project หรือบริษัทที่กำลังวางแผนสร้างทีมเพื่อทำโปรเจกต์ Data ก็น่าจะกำลังต้องการข้อมูลโดยสรุปว่าจริง ๆ แล้วในการทำ Big Data Project ตั้งแต่ต้นจนจบนั้นเป็นอย่างไร ในทีมจะต้องมีใครบ้าง แต่ละคนมีหน้าที่อย่างไรบ้าง เพื่อทำการวางแผนการทำงานให้เป็นไปได้อย่างราบรื่นมากที่สุด

วันนี้ DataTH มีสรุปข้อมูลจาก DataTH Live: เจาะลึกโปรเจกต์ Data ตั้งแต่ต้นจนจบ มีตำแหน่งไหน ทำอะไรบ้าง มาให้ได้เก็บข้อมูลกันแบบครบถ้วน

Big Data Project ตั้งแต่ต้นจนจบ ใครทำอะไรบ้าง?

ทำความเข้าใจในด้านของภาพรวมกันก่อนดีกว่า ว่าการในการทำ Big Data Project นั้นจะต้องมีใครบ้าง และมีหน้าที่โดยสังเขปคืออะไรบ้าง

big data project roles
หน้าที่ของทุกคนในการทำ Big Data Project ตั้งแต่ต้นจนจบ

Product Owner/ Project Manager

ทำหน้าที่ในการดูแลจัดการโปรเจกต์ คุยกับลูกค้า พูดคุยกับผู้ที่มีส่วนเกี่ยวข้องกับ Stakeholder ก่อนที่จะนำข้อมูลและบรีฟทั้งหมดไปให้กับตำแหน่งอื่น ๆ ต่อไป คุยกับทีม และช่วยทำให้การทำงานเป็นไปได้อย่างดีที่สุด Product Owner เป็นคนที่คอยดูแลไทม์ไลน์เบื้องต้น ว่าควรทำฟีเจอร์ไหนก่อน รวมถึงดูแลและกำหนด KPI

  • Project Manager เปรียบเสมือนกับพี่เลี้ยงที่คอยดูแลความเรียบร้อยของคนในทีม รวมถึงการวางแผน ไทม์ไลน์การทำงาน จำนวนเงินที่ต้องจ่าย

Software Engineer

รับบรีฟจากทาง PO/ PM และนำโจทย์ที่ได้มาใช้ในการออกแบบ วิจัย พัฒนาและปรับปรุงซอฟต์แวร์ แอปพลิเคชันหรือเครื่องมืออื่น ๆ ให้สามารถใช้งานได้ง่าย สะดวก และยังต้องคำนึงถึงการทำงานควบคู่กับฮาร์ดแวร์ด้วยเช่นกัน ตำแหน่งนี้จะทำงานร่วมกันกับ Data Engineer เป็นส่วนใหญ่เพื่อให้ได้งานที่ออกมาใช้ง่ายและตรงตามโจทย์มากที่สุด

Data Engineer

เป็นผู้ที่รับผิดชอบในการพัฒนาระบบจัดเก็บข้อมูล ระบบในการประมวลผลข้อมูล ให้ใช้งานได้สะดวกมากที่สุด โดยทำการจัดเก็บข้อมูลใน Data Warehouse เพื่อให้ทั้งผู้ใช้งาน ให้ Data Analyst และ Data Scientist สามารถเข้าถึงข้อมูลจำนวนมากได้อย่างง่ายดายและรวดเร็ว ทำให้การทำงานของทีมอื่นเป็นไปได้ง่ายมากยิ่งขึ้น เทคโนโลยีที่ใช้ได้แก่ Hadoop, APACHE Spark, APACHE Airflow (Pipeline), kafka (Skimmimg) และ Clouds ต่าง ๆ

หากสนใจอยากเรียนรู้เกี่ยวกับอาชีพ Data Engineer เพิ่มเติม ว่าอาชีพนี้ทำอะไร ต้องเรียนอะไรบ้าง อ่านได้ที่ Career Guide: คู่มือเปลี่ยนอาชีพ Data Engineer

Data Analyst

เป็นตำแหน่งที่มีหน้าที่รับผิดชอบในส่วนของการวิเคราะห์ข้อมูลตามโจทย์ที่ได้มา โดยใช้ข้อมูลจากแหล่งต่าง ๆ เพื่อนำไปต่อยอดในด้านธุรกิจ เช่น ใช้ช่วยในการวางแผนการตลาด วางแผนการเปิดตัวสินค้าใหม่และอื่น ๆ  

หากสนใจอยากเรียนรู้เกี่ยวกับอาชีพ Data Analyst เพิ่มเติม ว่าอาชีพนี้ทำอะไร ต้องเรียนอะไรบ้าง อ่านได้ที่ Career Guide: คู่มือเปลี่ยนอาชีพ Data Analyst

Data Scientist

ทำหน้าที่ในการสร้างโมเดลเพื่อทำนายผล โดยใช้ข้อมูลที่ทีมเตรียมไว้ เช่น สร้างโมเดลที่ใช้ในการวิเคราะห์ว่าควรจะอนุมัติสินเชื่อให้กับผู้สมัครสินเชื่อหรือไม่ โดยใช้ข้อมูลทั้งหมดที่มีมาใช้ในการสร้างโมเดล รวมถึงการปรับปรุงโมเดลเพื่อให้ใช้งานได้ง่าย ใช้งานได้จริงและมีความแม่นยำมากที่สุด

หากสนใจอยากเรียนรู้เกี่ยวกับอาชีพ Data Scientist เพิ่มเติม ว่าอาชีพนี้ทำอะไร ต้องเรียนอะไรบ้าง อ่านได้ที่ Career Guide: คู่มือเปลี่ยนอาชีพ Data Scientist


ขั้นตอนการทำงานตั้งแต่ต้นจนจบของการทำ Big Data Project

business data analytics workflow
ขั้นตอนการทำงานใน Big Data Project

เมื่อได้รู้จักกับตำแหน่งและหน้าที่ไปแล้ว ก็มาถึงการทำความเข้าใจว่าในการทำ Big Data Project นั้นจะมีขั้นตอนงานอย่างไรบ้าง และใครรับผิดชอบในส่วนไหน ช่วงไหนของโปรเจกต์ ซึ่งทาง DataTH เองได้แบ่งเอาไว้เป็น 3 ส่วนใหญ่ ๆ ดังต่อไปนี้

ขั้นตอนที่ 1: Business Workflow

Product Owner/ Project Manager จะรับผิดชอบในส่วนนี้ทั้งหมด เพราะเป็นขั้นตอนที่เกี่ยวกับการตกลงทิศทางในการทำงาน ทั้งการตกลงกับทีมภายในและตกลงกับลูกค้า เพื่อให้ได้แผนการทำงานที่ทำได้จริง ใช้เวลาเหมาะสมและมั่นใจว่าทุกฝ่ายมีความเข้าใจและเห็นภาพของโปรเจกต์ที่ตรงกัน

business data workflow
Business Workflow ในการทำ Big Data Project ตั้งแต่ต้นจนจบ
  • Requirement Gathering ทำความเข้าใจว่าลูกค้าต้องการอะไร จุดประสงค์ของโปรเจกต์คืออะไร และต้องวางแผนว่าทีมเราต้องทำงานอย่างไรบ้าง 
  • Analyze Requirements Logic วิเคราะห์การทำงานของสูตรและการทำงานด้วยการใช้ตรรกะ อ้างอิงจากข้อมูลที่เรามีอยู่ในมือว่าต้องทำงานอย่างไร อาจจะติดปัญหาตรงไหนหรือไม่ มีข้อจำกัดอะไรไหม
  • รวบรวม Generated Report ทำรายงานหรือกราฟ ทั้งในรูปแบบไฟล์ .pdf หรือเป็น Dashboard 
  • รวบรวม Documentations ที่ใช้ในการบันทึกข้อมูลทุกอย่างไว้อย่างเป็นระบบ เพื่อชี้แจงว่าข้อมูลแต่ละอย่าง รหัส หรือตัวเลขที่อยู่ถูกใช้นั้นหมายถึงอะไร เพื่อให้คนใหม่ที่เข้ามาทำทีหลังสามารถทำต่อได้

ขั้นตอนที่ 2: Engineering Workflow

ในส่วนนี้จะเป็นขั้นตอนการทำงานของ Software Engineer และ Data Engineer ซึ่งมีหน้าที่ในการพัฒนาแอปพลิเคชัน หรือระบบในการจัดเก็บข้อมูล เพื่อให้สามารถนำข้อมูลเหล่านั้นไปใช้งานได้อย่างสะดวก ซึ่ง Data Engineer นี่แหละที่เป็นคนกำหนดและควบคุม Data Pipeline ที่เป็นเหมือนกับการเป็นการเดินทางของข้อมูล

engineering workflow
Engineering Workflow ในการทำ Big Data Project ตั้งแต่ต้นจนจบ
  • Collect and Capture เก็บข้อมูลจากแหล่งข้อมูลทุกอย่าง ทั้งจากแอปพลิเคชัน เว็บไซต์ เอกสารและอื่น ๆ 
  • Data Processing นำข้อมูลทั้งหมดมาผ่านการประมวลผลให้อยู่ในรูปแบบที่เหมาะสม รวมถึงการคลีนข้อมูลและการเขียน Pipeline ด้วยเช่นกัน เพื่อให้สามารถนำข้อมูลไปใช้ได้ง่าย
  • เก็บข้อมูลใน Storage และ Warehouse ให้นำไปใช้งานต่อได้ เอาไปวิเคราะห์ต่อได้ 
  • Analyze and Use ใช้ข้อมูลที่มีอยู่ในพื้นที่จัดเก็บไปใช้ต่อให้เกิดประโยชน์ทางธุรกิจได้

ขั้นตอนที่ 3: Data Analytics Workflow

ขั้นตอนสุดท้ายนี้จะเป็นการทำงานร่วมกันของทีมงานฝั่ง Data ทั้ง Data Analyst และ Data Scientist นำข้อมูลที่ได้มานั้นมาใช้ในการทำงานต่อ เพื่อให้เกิดข้อมูลเชิงลึก และโมเดลที่สามารถนำไปใช้งานต่อได้จริง

data analysis workflow
Data Analytics Workflow ในการทำ Big Data Project ตั้งแต่ต้นจนจบ
  • Report ที่ทำลงกระดาษ หรือทำเป็นรูปแบบของไฟล์ต่าง ๆ ใช้ในการสรุปข้อมูลว่าจากข้อมูลที่ได้มานั้น เราวิเคราะห์ได้ผลว่าอย่างไรบ้าง หรือทำเป็น Dashboard แสดงข้อมูลบนเว็บไซต์หรือหน้าหน้าหนึ่ง จุดประสงค์คือการสรุปข้อมูลทุกอย่างออกมาให้สามารถอ่านได้ง่าย ๆ เข้าใจข้อมูลและผลทุกอย่างได้ง่ายที่สุด 
  • Data Science Model เอาข้อมูลต่าง ๆ มาสร้างโมเดลที่ใช้ทำนายผล โดย Data Scientist เช่น การสร้าง Machine Learning
  • Data Analytics ถ้าไม่ได้ทำทั้ง 2 อย่างข้างบน สามารถทำจะต้องนำข้อมูลทั้งหมดมาวิเคราะห์ เอาข้อมูลทางธุรกิจเข้ามาเพื่อใช้ประโยชน์

เมื่อแยกข้อมูลทุกอย่างออกมาเป็นแต่ละส่วนอย่างละเอียดแบบนี้แล้ว ก็จะเห็นได้ว่าการทำ Data Project นั้นมีโครงสร้างที่ไม่ซับซ้อนเท่าที่หลาย ๆ คนคิดไว้ในตอนแรกเลยใช่ไหมล่ะคะ?

สิ่งสำคัญที่จะทำให้การดำเนินงานให้โปรเจกต์สามารถเดินหน้าพร้อม ๆ กับแพลนที่วางไว้นอกจากสกิลหรือความสามารถที่มีแล้ว ก็ต้องห้ามมองข้ามเรื่องสำคัญอย่างการสื่อสารภายในทีมเช่นกัน

หวังว่าบทความนี้จะช่วยทำให้หลาย ๆ คนเข้าใจเกี่ยวกับข้อมูลการทำ Data Project ตั้งแต่ต้นจนจบและหน้าที่ต่าง ๆ ได้ดีมากยิ่งขึ้น อย่าลืมกดแชร์บทความนี้ไปให้เพื่อน ๆ

และอย่าลืมกดติดตามกันไว้ได้เลยที่ Facebook Page: DataTH – Data Science ชิลชิล เพื่ออ่านบทความดี ๆ แบบนี้อีก คราวหน้าจะพูดถึงเรื่องของ Document ที่ต้องใช้ใน Data Project หากใครสนใจก็ห้ามพลาดเด็ดขาด!

บทความอื่น ๆ ที่เกี่ยวข้อง

เราใช้คุกกี้เพื่อพัฒนาประสิทธิภาพ และประสบการณ์ที่ดีในการใช้เว็บไซต์ของคุณ คุณสามารถศึกษารายละเอียดได้ที่ นโยบายความเป็นส่วนตัว และสามารถจัดการความเป็นส่วนตัวเองได้ของคุณได้เองโดยคลิกที่ ตั้งค่า

Privacy Preferences

คุณสามารถเลือกการตั้งค่าคุกกี้โดยเปิด/ปิด คุกกี้ในแต่ละประเภทได้ตามความต้องการ ยกเว้น คุกกี้ที่จำเป็น

Allow All
Manage Consent Preferences
  • Always Active

Save