รวมบทความเกี่ยวกับวิศวกรรมข้อมูล (Data Engineering) ครอบคลุมถึงเรื่องการจัดการข้อมูลขนาดใหญ่ (Big Data) ด้วยเครื่องมือต่าง ๆ อาทิ Hadoop, MapReduce Spark, Hive, และบริการ Cloud ชื่อดังต่าง ๆ ไม่ว่าจะเป็น Amazon Web Services (AWS), Google Cloud Platform (GCP), และ Azure
หัวข้อ Data Engineer นี้ครอบคลุมถึงการวางแผนและพัฒนาระบบ ETL (Extract-Transform-Load), Data Ingestion, Data Integration ไปจนถึงการสร้าง End-to-End Data Pipeline ที่สามารถรับส่งข้อมูลได้ตั้งแต่ต้นจนจบ
Hadoop เครื่องมือประมวลผล Big Data ผ่านคอมพิวเตอร์หลายเครื่อง ประกอบไปด้วย 3 ส่วนหลัก HDFS, MapReduce และ YARN
การทำ Big Data Project ตั้งแต่ต้นจนจบนั้นเป็นอย่างไร ในทีมจะต้องมีใครบ้าง แต่ละคนมีหน้าที่อย่างไรบ้าง มาดูกัน
ETL และ ELT เป็นกระบวนการในการนำข้อมูลจากหลายแหล่ง มารวมกัน แปลงให้อยู่ในรูปแบบที่สอดคล้องกับปลายทางที่เราต้องการเก็ยข้อมูลเพื่อนำไปใช้ต่อ แตกต่างกันที่ลำดับการจัดการ
มารู้จักกับ 7 เทคโนโลยีที่ Data Engineer ต้องรู้จัก อ่านจบแล้วคุณจะสามารถเลือกเทคโนโลยีที่เหมาะกับงานได้ดีขึ้น และถ้าไม่รู้จักเทคโนโลยีไหน ก็มีแนะนำแหล่งเรียนต่อให้ตอนท้ายบทความ
มารู้จักกับเทคโนโลยี Cloud Computing กัน ว่าจริงๆแล้วคืออะไร นำไปใช้ทำอะไรได้บ้าง อ่านจบแล้วคุณจะเข้าใจ และนำไปต่อยอดได้
Machine Learning Engineer ส่วนผสมที่ลงตัวระหว่าง Data Scientist และ Software Engineer คนกลางสำคัญที่ช่วยทำให้ Product ใช้งานได้จริง
แนะนำหนังสือสำหรับคนที่อยากเป็น Data Engineer น่าอ่านให้ทุกคนได้อัพเดทเนื้อหาความรู้ให้ทันกับโลกอนาคต เหมาะสำหรับมือใหม่ไปจนถึงระดับแอดวานซ์
การเก็บข้อมูลเป็นเรื่องสำคัญมากของคนที่มีข้อมูลอยู่ในมือ ในยุค Big Data เรามาดูกันว่า Database, Data Warehouse และ Data Lake แตกต่างกันอย่างไร
Big Data คือ การที่เรามีข้อมูลในขนาดใหญ่, ปริมาณมาก และ ความซับซ้อนสูง มาอยู่รวมกัน ในบทความนี้จะแนะนำ Big Data รวมถึงเคสการใช้งานจริง
