Gartner menamai data fabric untuk membantu perusahaan dalam memantau dan mengelola data dan aplikasi mereka. Mengumpulkan data dan menjadi organisasi berbasis data lebih menantang dari sebelumnya karena bisnis menggunakan berbagai aplikasi, dan data menjadi lebih dinamis.

Perusahaan membutuhkan strategi yang komprehensif di antara sepuluh besar perkembangan teknologi data dan analitik untuk menyelesaikan masalah tersebut. Data dari beberapa sumber dan jenis yang terintegrasi membentuk satu kesatuan sumber virtual. Akses tanpa batas dan pertukaran data di seluruh infrastruktur terdistribusi ini dimungkinkan oleh arsitektur terintegrasi ini, terlepas dari aplikasi, platform, atau lokasi penyimpanan. Di artikel ini, kita akan membahas apa itu data fabric, pentingnya, tips, dan praktik terbaiknya.

Definisi Data Fabric

Data fabric adalah arsitektur terintegrasi yang menggunakan data untuk menawarkan endpoint di seluruh lingkungan multi-cloud hybrid dengan kemampuan yang konsisten. Arsitektur terintegrasi ini meningkatkan visibilitas, akses, dan kontrol dengan menetapkan metode yang konsisten untuk manajemen data. Yang terpenting, ini menciptakan konsistensi di seluruh lingkungan Anda, memungkinkan data digunakan dan dibagikan di mana saja.

Arsitektur terintegrasi ini adalah alat utama bagi banyak perusahaan untuk mengubah data mentah menjadi intelijen bisnis yang dapat ditindaklanjuti. Itu membuat analisis lebih mudah diakses, terutama untuk penggunaan AI dan pembelajaran mesin. Karena dapat memangkas upaya pengelolaan data hingga 70%, Gartner memilihnya sebagai tren teknologi strategis teratas untuk tahun 2022.

Perusahaan sering menyalin data mereka untuk mengkonsolidasikannya di satu lokasi, yang mahal dan dapat menyebabkan masalah kepatuhan dan keamanan data sepanjang siklus hidup data. Tapi masih ada alasan bagus untuk menggabungkan data itu. Banyak bisnis dapat memilih untuk menggunakan data fabric sebagai solusi arsitektur untuk memungkinkan mereka:

• Akses data yang ada
• Mengontrol siklus hidup data.
• Mengotomatiskan proses perpindahan data.

Pentingnya Data Fabric

Organisasi tidak dapat sepenuhnya memanfaatkan dan memaksimalkan nilai data mereka karena masalah termasuk akses data yang terbatas (yaitu, data tidak dapat diakses oleh mereka yang membutuhkannya) dan kompleksitas integrasi data. Integrasi data tradisional tidak lagi memadai untuk kebutuhan bisnis seperti transformasi universal, konektivitas real-time, dll. Banyak perusahaan memerlukan bantuan untuk menggabungkan, mengintegrasikan, dan mengubah data organisasi dari berbagai sumber.

Data fabric memberi pengguna akses langsung ke berbagai data dan memungkinkan visualisasi di mana pun pengguna berada. Tata kelola dan manajemen data dalam lanskap data multi-cloud dapat dibuat lebih sederhana bagi pengguna dengan menggunakan data fabric.

Kiat dan praktik terbaik

Metadata bisnis, operasional, dan teknis harus dikelola secara aktif jika struktur data diatur dengan baik. Katalog data dan leksikon bisnis harus tersedia untuk semua karyawan perusahaan agar hal ini terjadi.

Setiap orang dalam organisasi dapat berbagi pengetahuan mereka tentang data saat mereka menggunakannya. Jadwal harus disimpan untuk semua sumber asal agar metadatanya diserap pada tingkat yang memungkinkan penyimpangan data dalam jumlah yang wajar.

Berikut tips dan praktik terbaiknya:

Gunakan model proses DataOps.

Meskipun konsep dataOps dan data fabric berbeda, dataOps dapat menjadi enabler yang penting. Proses data, alat, dan orang yang menggunakan wawasan semuanya terkait erat, menurut model proses DataOps.

Pengguna diposisikan untuk terus mengandalkan data, memanfaatkan alat yang mereka miliki secara bermakna, dan menerapkan wawasan untuk meningkatkan operasi. Model ini dan desain arsitektur data fabric bekerja sama secara harmonis. Pengguna akan membutuhkan model proses DataOps dan sikap DataOps untuk memanfaatkannya sebaik mungkin.

Hindari membuat data lake lain.

Saat membangun data fabric, masalah tipikal adalah bahwa hal itu mungkin hanya menjadi data lake lain. Jika komponen arsitektur sudah ada—sumber data, analitik, teknik BI, transit data, dan konsumsi data—tetapi API dan SDK tidak ada, hasilnya bukan struktur data asli.

Istilah “fabrikasi data” mengacu pada desain arsitektur daripada teknologi tertentu. Fitur pembeda desain ini mencakup interoperabilitas komponen dan kesiapan integrasi. Akibatnya, organisasi harus memprioritaskan lapisan koneksi, transmisi data tanpa batas, dan pengiriman wawasan otomatis ke antarmuka front-end yang baru terhubung.

Kenali kewajiban regulasi dan kepatuhan Anda.

Karena data berjalan secara luas, desain struktur data dapat membantu keamanan, tata kelola, dan kepatuhan terhadap peraturan. Data tidak tersebar di beberapa sistem. Dengan demikian, kemungkinan data sensitif dapat diekspos lebih kecil.

Sebelum menerapkannya, penting untuk memahami kepatuhan dan peraturan peraturan yang berlaku untuk data Anda. Berbagai jenis data mungkin tunduk pada kerangka peraturan dan undang-undang. Anda dapat mengatasinya dengan menerapkan prosedur kepatuhan otomatis yang memaksa transformasi data sebagaimana diperlukan untuk mematuhi persyaratan hukum.

Gunakan analisis grafik untuk mencari interkoneksi.

Dengan menggunakan grafik pengetahuan untuk menggambarkan metadata dan hubungan data, analisis grafik menawarkan alternatif yang lebih cerdas untuk database relasional. Alih-alih hanya menggunakan string teks, ini mengisi data dengan konteks semantik untuk memahami apa yang ditunjukkan oleh informasi tersebut.

Grafik pengetahuan dapat menawarkan wawasan operasional dan bisnis dengan memeriksa hubungan antara sumber data. Dibandingkan dengan metode basis data relasional, metode ini lebih baik dalam mengintegrasikan beragam data dan wawasan yang ditemukan juga lebih bermanfaat bagi pengguna bisnis. Karena tujuan utama arsitektur terintegrasi ini adalah untuk memungkinkan penggunaan berbagai sumber data secara ekstensif tanpa duplikasi, grafik pengetahuan yang didukung oleh analisis grafik sangat cocok untuk tekstil data.

Buat pasar data untuk pengembang warga.

Biasanya, arsitektur terintegrasi ini akan menghasilkan dan mengirimkan wawasan langsung ke aplikasi bisnis atau menghasilkan repositori data yang terfragmentasi untuk diperiksa oleh TI atau tim data Anda. Pasar data yang mendemokratisasikan akses bagi pengembang warga adalah cara lain untuk memanfaatkan kemungkinannya.

Data dari pasar ini dapat digunakan untuk membangun model baru untuk kasus penggunaan yang muncul oleh pengguna bisnis dengan pemahaman dasar tentang analisis data dan pengalaman analisis bisnis selama bertahun-tahun. Bisnis dapat memungkinkan pengembang warga untuk menggunakannya dengan cara baru dan fleksibel selain mengembangkan BI yang spesifik untuk kasus penggunaan.

Memanfaatkan teknologi open source.

Saat membuat fabrikasi data, open source bisa menjadi pengubah permainan. Karena dimaksudkan agar dapat diperpanjang dan siap untuk diintegrasikan, teknologi sumber terbuka adalah yang paling sesuai untuk arsitekturnya.

Karena mungkin memerlukan investasi yang signifikan, dan Anda ingin melindungi investasi itu bahkan jika nanti Anda memutuskan untuk mentransfer penyedia, komponen sumber terbuka juga dapat membantu Anda mengurangi ketergantungan pada satu vendor. Pastikan untuk melihat proyek Open Data Fabric yang baru-baru ini dirilis, yang memungkinkan saluran pemrosesan data streaming terdesentralisasi menggunakan data besar dan blockchain.

Aktifkan produksi kode asli.

Fungsi penting dari solusi struktur data Anda adalah pembuatan kode asli, yang memungkinkannya menghasilkan kode secara otomatis yang dapat digunakan untuk integrasi. Dimungkinkan untuk menghasilkan kode yang optimal secara native dalam beberapa bahasa yang berbeda, termasuk Spark, SQL, dan Java, bahkan saat menganalisis data yang masuk.

Profesional TI kemudian dapat menggunakan kode ini untuk mengintegrasikan sistem baru yang API dan SDK mungkin masih perlu tersedia. Metode ini akan memungkinkan Anda menggabungkan sistem data baru dengan cepat dan mudah tanpa mengkhawatirkan biaya atau investasi integrasi yang tinggi. Ini juga akan membantu Anda mempercepat transformasi digital Anda. Ingatlah bahwa pembuatan kode asli harus berfungsi dengan konektor siap pakai agar mudah digunakan.

Tingkatkan struktur data untuk komputasi tepi

Perusahaan dapat memaksimalkan penggunaan perangkat IoT mereka dengan mengadaptasi fabrikasi data ke edge computing. Struktur data tepi, sering disebut sebagai struktur data edge-to-cloud, dibuat khusus untuk membantu penerapan IoT. Ini menggeser tugas terkait data penting dari aplikasi terpusat ke lapisan tepi berbeda yang didistribusikan tetapi terkait erat.

Misalnya, pabrik cerdas dapat menggunakan kain data tepi untuk secara otomatis menentukan berat kontainer kargo (tanpa menghubungi cloud terpusat) dan mulai memilih prosedur. Ini memfasilitasi tindakan otomatis dan mempercepat pengambilan keputusan yang tidak dapat dilakukan dengan paradigma data lake konvensional dan terpusat.