ผู้ปฏิบัติงานต้องมีความรู้พื้นฐานในการวิเคราะห์ข้อมูล และใช้เครื่องมือวิเคราะห์ข้อมูลขนาดใหญ่

(ก) ความต้องการด้านทักษะ

-    ทักษะในการใช้งานเครื่องมือวิเคราะห์ข้อมูลขนาดใหญ่

-    ทักษะในการประยุกต์ใช้เทคนิคการทำเหมืองข้อมูลและการเรียนรู้ของเครื่อง

-    ทักษะในการจัดการและการเตรียมข้อมูลขนาดใหญ่

-    ทักษะในการตีความผลการวิเคราะห์และการนำเสนอข้อมูล

 

(ข) ความต้องการด้านความรู้

  - ความเข้าใจในแนวคิดพื้นฐานของ Big Data

  - ความรู้เกี่ยวกับเครื่องมือและเทคนิคต่าง ๆ ในการวิเคราะห์ Big Data เช่น Hadoop, Spark

  - ความรู้เกี่ยวกับการทำเหมืองข้อมูลและการเรียนรู้ของเครื่อง

  - ความรู้เกี่ยวกับการจัดการและการเตรียมข้อมูลขนาดใหญ่

 

(ก)    หลักฐานการปฏิบัติงาน (Performance Evidence)

-    หลักฐานการวิเคราะห์ข้อมูลขนาดใหญ่เพื่อการนำไปใช้งาน

-    เอกสารหรือรายงานที่แสดงถึงการวิเคราะห์ข้อมูลขนาดใหญ่เพื่อการนำไปใช้งาน

(ข)    หลักฐานความรู้ (Knowledge Evidence)

-    ใบวุฒิการศึกษา

-    ประกาศนียบัตรต่าง ๆ จากการฝึกอบรมพัฒนาหรือการเรียนรู้ที่เกี่ยวข้อง

(ค)    คำแนะนำในการประเมิน

-    ตรวจประเมินหลักฐานโดยพิจารณาจากร่องรอยหลักฐานที่เกี่ยวข้อง ทั้งหลักฐานด้านปฏิบัติงานและหลักฐานด้านความรู้

 

(ก) คำแนะนำ 

    หน่วยความสามารถนี้ครอบคลุมถึงการวิเคราะห์ข้อมูลขนาดใหญ่เพื่อหาแนวโน้มและความสัมพันธ์ของข้อมูล รวมทั้งการนำข้อมูลขนาดใหญ่ไปใช้ในการตัดสินใจและการวางแผนการปฏิบัติงาน โดยผู้ปฏิบัติงานต้องสามารถวิเคราะห์ข้อมูลขนาดใหญ่เพื่อหาแนวโน้ม ความสัมพันธ์ของข้อมูล และสามารถนำข้อมูลขนาดใหญ่ไปใช้ในการตัดสินใจและการวางแผนการปฏิบัติงานได้อย่างมีประสิทธิภาพ และครอบคลุมถึงการวิเคราะห์ข้อมูลขนาดใหญ่ด้วยเครื่องมือวิเคราะห์ข้อมูลขนาดใหญ่ เช่น Hadoop, Spark, NoSQL หรือ Machine Learning ฯลฯ 

(ข) คำอธิบายรายละเอียด

-    กระบวนการ ETL : Extract Transform Load คือ กระบวนการในการรวบรวมข้อมูลจากแหล่งต่าง ๆ ที่กระจัดกระจายมารวมไว้ในที่เก็บข้อมูลปลายทาง กระบวนการ ETL เป็นการบริหารจัดการข้อมูลก่อนจะนำไปใช้ในองค์กรหรือธุรกิจต่อไป โดยมีลำดับ ดังนี้

-    Extract (การดึงข้อมูล)เริ่มจากการดึงข้อมูลจากแหล่งต่าง ๆ ทั้งจากแหล่งเดียวกันหรือมากกว่านั้น ทั้งข้อมูลออนไลน์ ข้อมูลระบบเก่า หรือจากแหล่ง

อื่น ๆ หลังจากดึงข้อมูลเสร็จสิ้น ข้อมูลจะถูกโหลดเข้าสู่พื้นที่พักข้อมูลชั่วคราว (Staging Area)

-    Transform (การแปลงข้อมูล) ประกอบด้วยการนำข้อมูลมาทำความสะอาด เช่น คัดกรองเอาข้อมูลซ้ำออก ปรับแต่ง และแปลงโครงสร้างข้อมูล เพื่อให้สามารถเก็บไว้ในที่เก็บข้อมูลปลายทาง และเหมาะสมในการนำไปวิเคราะห์ต่อ

-    Load (การจัดเก็บข้อมูลเข้าสู่ระบบ) ขั้นตอนสุดท้ายคือการจัดเก็บข้อมูลที่ผ่านการแปลงแล้วเข้าสู่ฐานจัดเก็บข้อมูลปลายทางที่เหมาะสม ไม่ว่าจะเป็น Database, Data Warehouse, หรือ Data Lake เป็นต้น

-    ทะเลสาบข้อมูล (Data Lake) คือ ที่เก็บส่วนกลางซึ่งช่วยให้จัดเก็บข้อมูลที่มีและไม่มีโครงสร้างในทุกขนาดได้ ทำให้สามารถจัดเก็บข้อมูลตามที่เป็นโดยไม่ต้องวางโครงสร้าง และยังสามารถใช้การวิเคราะห์ประเภทต่าง ๆ ได้ ตั้งแต่แดชบอร์ดและการแสดงภาพไปจนถึงการประมวลผล Big Data 

การวิเคราะห์แบบเรียลไทม์ และ Machine Learning เพื่อสร้างแนวทางการตัดสินใจที่ดีขึ้น

-    Data lakehouse เป็นคลังข้อมูลประเภทใหม่ที่เป็นการรวมข้อดีของ Data Lake และ Data Warehouse เข้าด้วยกันทำให้สามารถจัดเก็บข้อมูลจำนวนมากในสถาปัตยกรรมที่ปรับขนาดได้และยืดหยุ่นได้ โดย Data lakehouse มีลักษณะ ดังนี้

-    รองรับการจัดเก็บข้อมูลทั้งในรูปแบบข้อมูลที่มีโครงสร้าง และไม่มีโครงสร้าง โดยสามารถเรียกใช้ข้อมูลได้จากที่เดียวกัน

-    สามารถทำการขยายขนาดแบบแยกจากกัน (Decoupling) คือ สามารถเลือกเพิ่มขนาดระหว่าง Storage และ Compute อย่างใดอย่างหนึ่งได้ ทำให้ช่วยลดงบประมาณในการจัดหาทรัพยากร

-    มี Metadata file ที่ใช้จัดเก็บ Audit log 

-     รองรับ ACID Transaction สามารถทำการ Insert, Update และ Delete ข้อมูลได้เหมือนกับฐานข้อมูล (Database)

โดย Data lakehouse คือ ตัวแก้ปัญหาในด้านการจัดเก็บข้อมูลที่เก็บหลายที่ทำให้เกิดการซ้ำซ้อน และช่วยลดต้นทุนในการจัดเก็บโดยสามารถจัดเก็บและเข้าถึงข้อมูลได้ในที่เดียว

-    การนำเสนอข้อมูล (Data Visualization) คือ การนำข้อมูลที่มีความซับซ้อนมานำเสนอด้วยแผนภูมิรูปภาพ กราฟ ตาราง วิดีโอ อินโฟกราฟิก แดชบอร์ด (Dashboard) โดยการสร้าง

การนำเสนอข้อมูลจะทำให้ผู้อ่านเข้าใจจุดประสงค์ หรือความต้องการของผู้นำเสนอได้ง่าย และมีความน่าสนใจมากยิ่งขึ้น

 

สอบข้อเขียน