Cheatsheet วิธีใช้ และเทคนิคใน Pyspark ฉบับสมบูรณ์
March 20, 2021
วิธีใช้ Pyspark เครื่องมือหนึ่งในการทำ Big Data ตั้งแต่ต้นจนจบแบบครบวงจร โดยเกิดจาก Python และ Apache Spark
Menu
รวมบทความเกี่ยวกับวิทยาศาสตร์ข้อมูล (Data Science) ซึ่งครอบคลุมถึงการวิเคราะห์ข้อมูล (Data Analysis), Machine Learning, และ Algorithms ในการสร้าง โมเดลทำนายผล (Predictive Model) ด้วยวิธีการต่าง ๆ ตั้งแต่ Linear Regression, Decision Tree, Random Forest, Neural Network ฯลฯ
ปัจจุบันการใช้ Deep Learning ในการทำนายผลได้รับความนิยมมากขึ้นเรื่อย ๆ เพราะสามารถแก้ปัญหาที่ Algorithms ทั่วไปไม่สามารถทำได้ เช่น Image Recognition ด้วย CNN หรือ Audio Transcript ด้วย RNN
วิธีใช้ Pyspark เครื่องมือหนึ่งในการทำ Big Data ตั้งแต่ต้นจนจบแบบครบวงจร โดยเกิดจาก Python และ Apache Spark
ปัญหาของบริษัทไทยในการนำ Data มาใช้คืออะไร? เรามาคุยกับ Business Consultant ผู้มีประสบการณ์ช่วยให้หลายองค์กรขับเคลื่อนด้วย Data (Data-Driven Organization)
Apache Spark เป็นเครื่องมือหนึ่งที่ถูกดีไซน์มาให้เราใช้งานแบบทำงานกลุ่มได้ โดยที่เชื่อมต่อระบบการทำงานของคอมพิวเตอร์เข้าด้วยกัน หรือเรียกว่า Cluster computing platform
ก่อนหน้านี้แอดมินเข้าใจว่าทำ Data Science เรียน Python / R / SQL ก็พอล่ะ แต่เมื่อไม่กี่วันที่ผ่านมาเรียนแล็บเรื่อง Big Data ต้องมาใช้ Unix ด้วย 555
Big Data คือ การที่เรามีข้อมูลในขนาดใหญ่, ปริมาณมาก และ ความซับซ้อนสูง มาอยู่รวมกัน ในบทความนี้จะแนะนำ Big Data รวมถึงเคสการใช้งานจริง
อยากจะมาสรุปให้ฟังกันว่าการทำงานในปีที่ผ่านมา ในงาน Data Science / Data Engineer เป็นอย่างไรบ้างครับ บทความนี้น่าจะมีประโยชน์กับท่านที่สนใจเข้ามาทำงานในสาย Data
ทุกคนอาจจะเคยสงสัยว่าทำไมเราได้เงินเดือนต่างกัน จากตัวอย่างของผู้ชายในแอทแลนทิก ประเทศอเมริกา ปัจจัยที่ทำให้ทุกคนได้เงินเดือนต่างกันประกอบไปด้วย อายุ, ปีที่ทำงาน และ ระดับการศึกษา
Data Scientist นักวิทยาศาสตร์ข้อมูล กับ Data Analyst นักวิเคราะห์ข้อมูล มีชื่อที่คล้ายกันก็จริง แต่ 2 อาชีพนี้ทำงานคนละด้านกัน ใช้ทักษะแตกต่างกัน
ในบทความนี้ เรามาดูกันว่า Cloud Computing คืออะไร, Cloud ดีกว่าการใช้ Server แบบเดิม (On-premise) ตรงไหน, บริการของ Cloud ในสำหรับคนทำ Data Science / Machine Learning มีอะไรเด็ด ๆ บ้าง