TL; DR: เรียนรู้วิธีวิเคราะห์ข้อมูลบล็อกเชนอย่างมีประสิทธิภาพโดยใช้ชุดข้อมูลที่ Pinax ให้มา เรียนรู้ว่าโซลูชันของเราทำให้การเข้าถึงข้อมูล ETH ง่ายขึ้นผ่านไฟล์ Parquet และฐานข้อมูลที่ได้รับการจัดการ เช่น Snowflake ได้อย่างไร ทำให้คุณสามารถดำเนินการสืบค้น SQL เพื่อดึงข้อมูลเชิงลึกอันมีค่า เช่น ผู้ใช้ที่ใช้งานรายวันและกิจกรรมสัญญาชั้นนำ
เรารู้สึกตื่นเต้นที่จะสาธิตผลิตภัณฑ์ที่กำลังเปลี่ยนแปลงการวิเคราะห์ข้อมูลบล็อกเชน: ชุดข้อมูลบนกราฟที่ผสานรวมกับ Snowflake ในโพสต์นี้ เราจะสำรวจปัญหาที่เรากำลังแก้ไข โซลูชันที่เป็นนวัตกรรมของเรา ผู้คนใช้ชุดข้อมูลของเราอย่างไร และวิสัยทัศน์ของเราในอนาคต
ลิงค์วิดีโอ: https://youtu.be/7CxFGgNmu-Y
สำหรับข้อมูลเพิ่มเติมเกี่ยวกับชุดข้อมูลของเรา โปรดอ่านบทความ:
Blockchain สร้างข้อมูลจำนวนมากที่มีขนาดใหญ่และยากต่อการจัดการ การแตกข้อมูลนี้ โดยเฉพาะอย่างยิ่งเมื่อพูดถึงการโต้ตอบโดยละเอียดจากโหนด RPC จำเป็นต้องมีเครื่องมือแบบกำหนดเอง
นักวิเคราะห์ที่คุ้นเคยกับเครื่องมือแบบดั้งเดิม เช่น SQL ประสบปัญหาในการรับมือกับความซับซ้อนของการดึงข้อมูลบล็อคเชน เมื่อรวมกับความท้าทายในการจัดการเครือข่ายบล็อกเชนหลายเครือข่าย มันจะกลายเป็นภาระในการดำเนินงาน
การเข้าถึงข้อมูลนี้อย่างมีประสิทธิภาพยังหมายถึงการลดความจำเป็นในการดาวน์โหลดชุดข้อมูลขนาดใหญ่อีกด้วย นั่นเป็นเหตุผลที่เราต้องการโซลูชันที่รองรับการจัดเก็บข้อมูล เพื่อให้คุณสามารถสืบค้นเฉพาะข้อมูลที่คุณต้องการเท่านั้น
นักวิเคราะห์ที่คุ้นเคยกับเครื่องมือแบบดั้งเดิม เช่น SQL ประสบปัญหาในการรับมือกับความซับซ้อนของการดึงข้อมูลบล็อคเชน เมื่อรวมกับความท้าทายในการจัดการเครือข่ายบล็อกเชนหลายเครือข่าย มันจะกลายเป็นภาระในการดำเนินงาน
การเข้าถึงข้อมูลนี้อย่างมีประสิทธิภาพยังหมายถึงการลดความจำเป็นในการดาวน์โหลดชุดข้อมูลขนาดใหญ่อีกด้วย นั่นเป็นเหตุผลที่เราต้องการโซลูชันที่รองรับการจัดเก็บข้อมูล เพื่อให้คุณสามารถสืบค้นเฉพาะข้อมูลที่คุณต้องการเท่านั้น
เราใช้ประโยชน์จากเทคโนโลยีอันทรงพลังสองอย่าง: Firehose และ Substreams บริการเหล่านี้ทำงานบน The Graph และช่วยให้สามารถแยกและจัดเก็บข้อมูลบล็อคเชนได้อย่างมีประสิทธิภาพ ขั้นแรกเรากำหนดสถาปัตยกรรมบล็อกสำหรับเครือข่ายต่างๆ (ขึ้นอยู่กับ EVM, Solana, BTC) จากนั้นส่งออกเป็นไฟล์ Parquet ซึ่งโดยพื้นฐานแล้วจะเป็นไฟล์แบบเรียบที่มีคุณสมบัติฐานข้อมูล ไฟล์เหล่านี้โฮสต์อยู่บน AWS S3 หรือบัคเก็ตอื่นๆ ที่เข้ากันได้กับ S3
เพื่อให้เข้าถึงข้อมูลได้มากขึ้น เราไม่ได้หยุดอยู่ที่การจัดเก็บข้อมูลดิบ นอกจากนี้เรายังแสดงรายการข้อมูลบน Snowflake Marketplace คุณสามารถสืบค้นข้อมูลดิบจาก S3 หรือเชื่อมต่อโดยตรงกับฐานข้อมูล Snowflake ที่ได้รับการจัดการ เพื่อเรียกใช้การสืบค้น SQL กับชุดข้อมูลที่ได้รับการจัดการ ความเก่งกาจนี้ช่วยให้คุณเข้าถึงข้อมูลบล็อคเชนได้ตามที่คุณต้องการ
คุณมีหลายทางเลือกในการเข้าถึงข้อมูลของคุณ คุณสามารถ:
- โหลดข้อมูลดิบจาก S3 ลงในฐานข้อมูลโดยใช้ตารางภายนอกหรือวิธีการคัดลอกโดยตรง
- ใช้ SQL เพื่อสืบค้นข้อมูลโดยตรงในฐานข้อมูลที่ได้รับการจัดการ เช่น Snowflake
- อ่านไฟล์ Parquet ไฟล์เดียวโดยทางโปรแกรมโดยใช้ไลบรารี Python เช่น Polars หรือ pandas
---ภาพหน้าจอจากสไลด์โชว์วิดีโอ Data Pipeline สำหรับสถาปัตยกรรม MVP
ไปป์ไลน์ข้อมูลเริ่มต้นด้วย Firehose ซึ่งรองรับเครื่องมือวัดของชุดข้อมูลบล็อกเชนเพื่อสร้างประเภทบล็อกมาตรฐานที่ไหลผ่านสตรีมย่อย ที่นี่เรากำหนดสคีมาสำหรับประเภทข้อมูลต่างๆ (บล็อก การติดตามธุรกรรม บันทึก) และแปลงเป็นไฟล์ Parquet
ข้อมูลที่แยกออกมาสามารถโฮสต์บน S3 จากนั้นนำไปใช้ในรูปแบบต่างๆ เช่น กลไกการคำนวณ SQL หรือไลบรารี Python นอกจากนี้เรายังรองรับวิธีเกตเวย์ที่แตกต่างกันสองวิธี:
- ผู้ขอชำระเงิน: การเรียกเก็บเงินจะขึ้นอยู่กับการใช้งานพื้นที่จัดเก็บข้อมูล S3 ซึ่งช่วยให้คุณสามารถชำระค่าข้อมูลตามจำนวนเฉพาะที่คุณเข้าถึงได้
- Snowflake Marketplace: คุณสามารถเข้าถึงชุดข้อมูลของคุณได้โดยตรงโดยไม่ต้องคัดลอก และเพลิดเพลินกับความสะดวกสบายเพิ่มเติมของฐานข้อมูลที่ได้รับการจัดการที่พร้อมใช้งาน SQL
---สกรีนช็อตจากวิดีโอสไลด์โชว์ Gateway for MVP Architecture
Snowflake เป็นตลาดกลางที่คุณสามารถค้นหาชุดข้อมูลได้อย่างง่ายดาย ตัวอย่างเช่น การค้นหา "Ethereum" จะแสดงรายการจากผู้ให้บริการข้อมูลที่มีชื่อเสียง ชุดข้อมูล Ethereum ของเราให้ทดลองใช้ฟรีและไม่มีค่าธรรมเนียมในการลงรายการ
คุณสามารถดูตัวอย่างข้อมูลเพื่อทำความคุ้นเคยกับโครงสร้างของข้อมูลได้โดยการดูตาราง เช่น บล็อก บันทึก และแฮชของธุรกรรม ปัจจุบัน Snowflake โฮสต์ข้อมูลนี้ในภูมิภาคเดียว (เวอร์จิเนียตอนเหนือ สหรัฐอเมริกาฝั่งตะวันออก) และเราวางแผนที่จะเพิ่มภูมิภาคอื่นๆ ในอนาคตตามความจำเป็น
คุณสามารถดูตัวอย่างข้อมูลเพื่อทำความคุ้นเคยกับโครงสร้างของข้อมูลได้โดยการดูตาราง เช่น บล็อก บันทึก และแฮชของธุรกรรม ปัจจุบัน Snowflake โฮสต์ข้อมูลนี้ในภูมิภาคเดียว (เวอร์จิเนียตอนเหนือ สหรัฐอเมริกาฝั่งตะวันออก) และเราวางแผนที่จะเพิ่มภูมิภาคอื่นๆ ในอนาคตตามความจำเป็น
ในการสาธิตของเรา เราจะแสดงวิธีใช้สมุดบันทึก Python ของ Snowflake เพื่อวิเคราะห์ผู้ใช้งานรายวันบน Ethereum และแสดงภาพข้อมูลโดยใช้แพนด้า นอกจากนี้เรายังสำรวจสัญญายอดนิยมตามกิจกรรม โดยเน้นความง่ายในการเจาะลึกรายละเอียดระดับสัญญา
ปัจจุบันเราโฮสต์ Ethereum บน Snowflake และ S3 เรากำลังขยายอย่างแข็งขันเพื่อรองรับเครือข่าย EVM อื่นๆ เช่น Base, Arbitrum, BSC และ Polygon รวมถึงเครือข่ายที่ไม่ใช่ EVM เช่น Solana และ BTC นอกจากนี้ เรายังตั้งเป้าที่จะลดอัตราการรีเฟรชข้อมูลจาก 24 ชั่วโมงให้ต่ำที่สุดเท่าที่จะเป็นไปได้ ทำให้การวิเคราะห์แบบเกือบเรียลไทม์เป็นจริง
เรารู้สึกตื่นเต้นที่ได้สร้างและขยายผลิตภัณฑ์ต่อไป ขยายการสนับสนุนบล็อกเชนมากขึ้น และเพิ่มความสามารถแบบเรียลไทม์เพื่อให้ทุกคนสามารถเข้าถึงข้อมูลบล็อกเชน ตั้งแต่นักวิเคราะห์ไปจนถึงนักพัฒนา
จากคำติชมของลูกค้าและความสำเร็จของโปรแกรมนำร่องชุดข้อมูลของเราบน Snowflake คุณอาจเห็นว่าชุดข้อมูลเป็นข้อเสนอบริการข้อมูลที่รองรับอย่างเต็มรูปแบบบน The Graph ในอนาคต
หากคุณสนใจที่จะสำรวจวิธีที่เราสามารถทำให้การเข้าถึงข้อมูลบล็อคเชนง่ายขึ้นตามความต้องการของคุณ โปรดเยี่ยมชมเว็บไซต์ของเราหรือติดต่อเราโดยตรงเพื่อเรียนรู้เพิ่มเติม ขอการสาธิตเพื่อดูว่าเราจะเปลี่ยนแปลงวิธีที่คุณได้รับข้อมูลเชิงลึกเกี่ยวกับข้อมูลบล็อกเชนได้อย่างไร
(โปรดติดตามบล็อกเพื่อดูคำศัพท์ทางวิชาชีพ ความคิดเห็น ไลบรารีโค้ด ไฮเปอร์ลิงก์ ฯลฯ ที่เกี่ยวข้อง)
เคล็ดลับสั้นๆ คือชุดข้อมูล ETH ของเราพร้อมให้ทดลองใช้ฟรีบน Snowflake!
💡 บทความนี้ตอบคำถามต่อไปนี้:
- ชุดข้อมูลบล็อคเชนคืออะไร?
- นักวิเคราะห์ทำงานกับชุดข้อมูลที่โฮสต์บน Snowflake อย่างไร
- มีวิธีใดบ้างในการเข้าถึงข้อมูลแบบรวมศูนย์?
- จะลองใช้ชุดข้อมูลประวัติ ETH ที่จำกัดของเราได้ฟรีได้อย่างไร
ความคิดเห็นทั้งหมด