14 tháng 07, 2023
Tận dụng tối đa giá trị của dữ liệu là mục tiêu lớn nhất khi ứng dụng Big data. Có rất nhiều thách thức khiến doanh nghiệp, tổ chức không thể đạt được mục tiêu này. Hãy cùng tìm hiểu chúng là gì và cách giải quyết trong nội dung dưới đây.
Không ngừng phát triển, lĩnh vực kiến trúc và quản lý dữ liệu đang ở trong trạng thái phức tạp chưa từng thấy. Thống kê cho biết:
Khoảng 300 tỷ email được trao đổi mỗi ngày (Theo Campaign Monitor)
400 giờ video được tải lên YouTube mỗi phút (Theo Brandwatch)
Thương mại điện tử bán lẻ trên toàn thế giới chiếm hơn 4 tỷ đô la doanh thu (Theo Shopify)
Google nhận được hơn 63.000 yêu cầu tìm kiếm mỗi phút (Theo SEO Tribunal)
Đến năm 2025, dữ liệu thời gian thực sẽ chiếm hơn 1/4 tổng số dữ liệu (Theo IDC)
Trên toàn cầu hiện nay, hơn 2,5 triệu byte dữ liệu được tạo ra mỗi ngày và 90% tất cả dữ liệu trên thế giới được tạo ra chỉ trong vài năm trở lại đây (Theo Forbes). Dữ liệu là nhiên liệu cho máy học (Machine learning) khai thác triệt để giá trị thông tin có ý nghĩa quan trọng trong tất cả mọi ngành nghề. Vì vậy, các tổ chức đang vô cùng nghiêm túc về cách họ thu thập, sắp xếp và quản lý thông tin.
Dữ liệu lớn là gì?
Khi nghe đến khái niệm "Dữ liệu lớn", có thể nhiều người đã tự hỏi nó khác với "dữ liệu" phổ biến như thế nào.
Thuật ngữ "dữ liệu" đề cập đến bất kỳ ký tự hoặc biểu tượng chưa được xử lý nào, có thể được ghi lại trên phương tiện hoặc được máy tính truyền qua tín hiệu điện tử. Tuy nhiên, dữ liệu thô là vô ích cho đến khi nó được xử lý bằng cách nào đó.
Trong khi đó, khái niệm dữ liệu lớn - Big Data được sử dụng để mô tả khối lượng khổng lồ của cả dữ liệu có cấu trúc và phi cấu trúc, lớn đến mức khó có thể xử lý bằng các kỹ thuật truyền thống.
Nói cách khác, Big data không chỉ là một kho lưu trữ dữ liệu thông thường mà còn có khả năng phân loại, cấu trúc, tổ chức thông tin dựa trên mối tương quan để dễ dàng chuyển hóa dữ liệu thành giải pháp, góp phần giải quyết vấn đề không thể xử lý thủ công bằng sức người.
5V của big data là gì?
5 chữ V của dữ liệu lớn nhắc đến 5 đặc điểm và năng lực chính của dữ liệu lớn. Biết được 5 V cho phép các nhà khoa học dữ liệu thu được nhiều giá trị hơn từ dữ liệu của họ, đồng thời hỗ trợ tổ chức tiếp cận và đáp ứng nhu cầu của khách hàng tốt hơn.
“Năm chữ V” của Dữ liệu lớn bao gồm:
Volume: Khối lượng - Lượng dữ liệu được tạo
Velocity: Vận tốc - Tốc độ dữ liệu được tạo, thu thập và phân tích
Variety: Đa dạng - Các loại dữ liệu có cấu trúc, bán cấu trúc và phi cấu trúc khác nhau
Value: Giá trị - Khả năng biến dữ liệu thành thông tin chi tiết, hữu ích
Veracity: Đáng tin cậy - Chất lượng và độ chính xác cao, có thể tận dụng được
5 “Vs” đại diện cho 5 yếu tố quan trọng trong Big data - Ảnh: Internet
8 thách thức của dữ liệu lớn và chiến lược để giải quyết
1. Khối lượng vượt quá khả năng quản lý
Các công ty hiện đang sở hữu hàng terabyte, thậm chí hàng exabyte dữ liệu. Con số này không ngừng tăng lên. Do đó, dữ liệu có thể dễ dàng vượt khỏi tầm kiểm soát nếu không được quản lý đúng cách, đồng thời, doanh nghiệp sẽ bỏ lỡ cơ hội khai thác giá trị từ tài sản dữ liệu.
Giải pháp
Sử dụng công nghệ quản lý và lưu trữ để giải quyết khối lượng ngày càng tăng và thách thức trong việc quản lý Big data. Cho dù là đám mây, lưu trữ tại chỗ hay phương pháp kết hợp, hãy đảm bảo lựa chọn đó phù hợp với mục tiêu kinh doanh và nhu cầu của tổ chức.
Tạo một kiến trúc có khả năng mở rộng với những công cụ có thể điều chỉnh theo khối lượng dữ liệu mà không ảnh hưởng đến tính toàn vẹn của nó.
2. Dữ liệu kém dẫn đến kết quả không như mong muốn
Chất lượng kém là một trong những thách thức lớn nhất của Big data. Dữ liệu chất lượng kém dẫn đến sai sót trong thông tin thu lại và hiểu biết của người sử dụng dữ liệu bị sai lệch. Cuối cùng, doanh nghiệp phải gánh chịu hậu quả bằng cách tăng chi phí kinh doanh và hơn thế nữa.
Dữ liệu xấu chính xác là gì? Đó có thể là dữ liệu trùng lặp, lỗi thời, không đầy đủ, không chính xác, không đọc được và không nhất quán. Chúng ảnh hưởng sâu sắc đến chất lượng của thông tin đầu ra. Ngay cả những lỗi nhỏ trong dữ liệu đầu vào cũng có khả năng dẫn đến các vấn đề nghiêm trọng về sau. Đây là lý do tại sao việc theo dõi chất lượng dữ liệu lại quan trọng đến vậy.
Giải pháp
Bước đầu tiên để đảm bảo dọn dẹp dữ liệu “sạch sẽ” là có quy trình và nhân sự chăm sóc dữ liệu chuyên nghiệp trong tổ chức. Doanh nghiệp cần thiết lập quy trình quản trị dữ liệu đầy đủ để xác định các công cụ, hoạt động quản lý dữ liệu và kiểm soát truy cập.
Điều cần thiết là phải hiểu rõ về cách sắp xếp và bóc tách dữ liệu dựa trên mục tiêu kinh doanh. Vì vậy, doanh nghiệp có thể sẽ cần mời những chuyên gia về dữ liệu hoặc nhân viên kinh doanh, người thực sự sử dụng dữ liệu này để xác định yêu cầu về chất lượng dữ liệu.
Thiết lập một quy trình hiệu quả để làm sạch, lọc, sắp xếp, làm phong phú và quản lý dữ liệu bằng các công cụ hiện đại rất quan trọng - Ảnh: Internet
3. Xử lý nhiều định dạng
Trong thực tế, hầu hết dữ liệu tổ chức, doanh nghiệp hoặc cá nhân thu thập được đều không có cấu trúc hoặc bán cấu trúc (ngoại trừ trường hợp dữ liệu nằm trong bảng cơ sở dữ liệu như email, đánh giá của khách hàng, video,...).
Điều này đưa đến một loạt thách thức, đó là tìm ra cách đưa dữ liệu không đồng nhất sang định dạng phù hợp với nhu cầu kinh doanh, đồng thời, phù hợp với yêu cầu của các công cụ doanh nghiệp đang sử dụng trong quá trình phân tích thông tin, trực quan hóa , dự đoán,...
Giải pháp
Tìm hiểu cách sử dụng công cụ và công nghệ xử lý dữ liệu hiện đại để định dạng lại dữ liệu phi cấu trúc và rút ra hiểu biết sâu sắc từ đó. Nếu xử lý nhiều định dạng, có thể kết hợp nhiều công cụ khác nhau để phân tích cú pháp dữ liệu và trích xuất thông tin cần thiết.
Áp dụng hoặc tạo ra ứng dụng tùy chỉnh nhằm tăng tốc và tự động hóa quá trình chuyển đổi dữ liệu thô thành thông tin chi tiết, có giá trị. Việc lựa chọn công cụ sẽ tùy thuộc vào nguồn và bản chất của dữ liệu, cũng như yêu cầu riêng của doanh nghiệp.
4. Nhiều nguồn và rào cản tích hợp
Càng nhiều dữ liệu càng tốt, điều đó liệu có đúng? Trong nhiều trường hợp, nhiều dữ liệu hơn không đồng nghĩa với việc dữ liệu mang lại nhiều giá trị, cho đến khi doanh nghiệp biết cách kết hợp chúng lại với nhau để phân tích chung.
Sự thật là, một trong những thách thức phức tạp nhất đối với các dự án dữ liệu lớn là tích hợp dữ liệu đa dạng và tìm hoặc tạo điểm tiếp xúc dẫn đến hiểu biết sâu sắc.
Giải pháp
Điều này làm cho thử thách này trở nên vô cùng khó khăn để giải quyết. Trước tiên, cần xác định thời điểm hợp lý để tổng hợp dữ liệu từ nhiều nguồn khác nhau. Chẳng hạn, nếu muốn có được cái nhìn 360 độ về trải nghiệm của khách hàng, doanh nghiệp cần tập hợp bài đánh giá, hiệu suất, doanh số bán hàng và các dữ liệu liên quan khác để cùng phân tích.
Sau đó, cần tạo một không gian và bộ công cụ để tích hợp, chuẩn bị dữ liệu này cho quá trình phân tích.
Tạo một bản kiểm kê để hiểu dữ liệu đến từ nguồn nào, liệu việc tích hợp nó để phân tích chung có hợp lý hay không.
Sử dụng công cụ tích hợp dữ liệu có thể giúp kết nối dữ liệu từ nhiều tài nguyên khác nhau như tệp, ứng dụng, cơ sở dữ liệu và kho dữ liệu, đồng thời chuẩn bị dữ liệu cho phân tích dữ liệu lớn.
Tùy thuộc vào công nghệ hiện có, doanh nghiệp có thể tận dụng Microsoft, SAP, Oracle hoặc một số công cụ chuyên biệt khác, tập trung vào tích hợp dữ liệu như Precisely hoặc Qlik.
5. Chi phí cao cho dự án và cơ sở hạ tầng dữ liệu
Theo một số nghiên cứu, 50% giám đốc điều hành ở Mỹ và 39% giám đốc điều hành ở châu Âu Thừa nhận rằng ngân sách công nghệ thông tin hạn chế là một trong những rào cản lớn nhất ngăn họ tận dụng dữ liệu của mình.
Việc triển khai dữ liệu lớn rất tốn kém, đòi hỏi phải lập kế hoạch cẩn thận và khả năng đáp ứng khoản chi phí đáng kể, nhưng chưa chắc đã nhận lại kết quả tích cực ngay lập tức.
Hơn nữa, khi khối lượng dữ liệu tăng theo cấp số nhân, thì cơ sở hạ tầng cũng vậy. Trên thực tế, có tới 30% số tiền chi trả cho đám mây bị lãng phí, theo Flexera.
Giải pháp
Doanh nghiệp có thể giải quyết hầu hết vấn đề chi phí bằng cách liên tục giám sát cơ sở hạ tầng. Có nhiều phương pháp theo dõi dịch vụ và tài nguyên đang sử dụng cho mục đích lưu trữ và quản lý dữ liệu, xác định cơ hội tiết kiệm và cân bằng chi phí.
Cân nhắc chi phí sớm trước khi tạo quy trình xử lý dữ liệu. Dữ liệu trùng lặp, chưa được phân loại, thất lạc,... có thể làm tăng chi phí. Doanh nghiệp cần nghiên cứu tài nguyên dữ liệu hiện có để đưa ra chiến lược phù hợp và tối ưu hóa chi phí.
Hãy chọn công cụ tiết kiệm chi phí phù hợp với ngân sách. Hầu hết dịch vụ đám mây đều được cung cấp dựa trên cơ sở chi trả theo thực tế sử dụng, nghĩa là chi phí phụ thuộc trực tiếp vào các dịch vụ và sức mạnh tính toán mà doanh nghiệp sử dụng.
Doanh nghiệp hoàn toàn có thể lựa chọn, kết hợp những công cụ khác nhau để phù hợp với ngân sách và nhu cầu của mình - Ảnh: Internet
6. Thời gian tìm hiểu thông tin chậm
Điều này đề cập đến tốc độ doanh nghiệp, tổ chức có thể nhận được thông tin chi tiết từ dữ liệu trước khi dữ liệu trở nên lỗi thời. Thời gian phân tích chậm là một trong những thách thức bắt nguồn từ các đường dẫn dữ liệu cồng kềnh và chiến lược quản lý dữ liệu không hiệu quả.
Tham số này đặc biệt quan trọng trong một số trường hợp kinh doanh. Ví dụ: So sánh phân tích hành vi của người tiêu dùng dựa trên dữ liệu hàng quý và phân tích dữ liệu thời gian thực Internet vạn vật (IoT) để giám sát thiết bị. Trường hợp đầu tiên có thể chấp nhận sự chậm trễ nhiều ngày hoặc thậm chí nhiều tuần, trong khi ở trường hợp thứ hai, ngay cả một độ trễ nhỏ cũng có thể trở thành vấn đề nghiêm trọng.
Giải pháp
Trong dự án Big data và IoT, độ trễ thấp là một trong những yêu cầu chính đối với tự động hóa và điều khiển từ xa. Hãy cân nhắc tận dụng công nghệ biên (leveraging edge) và điện toán sương mù (Fog) để đưa phân tích đến gần với hành động nhất có thể. Nó sẽ giảm thiểu thời gian phân tích, cho phép phản hồi nhanh với dữ liệu thời gian thực.
Chiến lược dữ liệu của các công ty thường không cố định. Cần có phương pháp tiếp cận linh hoạt khi thiết kế và xây dựng đường dẫn dữ liệu, thường xuyên xem xét cách tiếp cận để phát hiện sự thiếu hiệu quả, chậm chạp và có biện pháp khắc phục.
Bên cạnh đó, sử dụng công nghệ trí tuệ nhân tạo (AI) hiện đại cũng như công cụ và kỹ thuật trực quan hóa dữ liệu lớn để cung cấp và truyền đạt thông tin chuyên sâu nhanh hơn.
7. Chưa tận dụng tối đa thông tin chi tiết
Trích xuất thông tin chi tiết là một chuyện. Đưa chúng vào sử dụng là một câu chuyện hoàn toàn khác. Nếu bước thứ hai không hoạt động, toàn bộ chiến lược dữ liệu lớn của tổ chức có thể thất bại vì nó không thể mang lại bất kỳ nguồn lợi nhuận nào.
Giải pháp
Đặt ra những tình huống kinh doanh cụ thể để nhân viên kinh doanh hiểu rõ hơn họ cần gì từ dữ liệu và cách họ có thể hành động trên dữ liệu đó.
Sử dụng phân tích nâng cao giúp khám phá thêm phương thức mới để đọc và hiểu thông tin chuyên sâu, đồng thời cung cấp thông tin chi tiết cho bất kỳ ai trong tổ chức.
Cung cấp công cụ trực quan hiện đại, bảng điều khiển, trải nghiệm tương tác và giao diện trực quan để khai thác dữ liệu, khám phá thông tin chuyên sâu, tạo báo cáo và trao đổi thông tin trong tổ chức.
8. Bảo mật và tuân thủ nguyên tắc
Hơn một phần ba ngân sách dữ liệu lớn được chi cho việc đảm bảo tuân thủ nguyên tắc hệ thống và bảo vệ thông tin, theo khảo sát của New Vantage.
Không có gì đáng ngạc nhiên khi áp lực ngày càng tăng đến từ các quy định nghiêm ngặt về quyền riêng tư và rủi ro dữ liệu lớn, liên quan đến vi phạm an ninh. Những rủi ro này thậm chí còn lớn hơn khi khối lượng dữ liệu tăng lên.
Xem thêm bài viết:
Giải pháp
Đưa tính bảo mật của dữ liệu lớn vào quy hoạch, chiến lược và thiết kế ban đầu. Thiếu đi biện pháp bảo mật của hệ thống dễ dẫn đến hàng loạt vấn đề nghiêm trọng và mức tiền phạt có thể lên tới hàng triệu USD.
Kiểm tra cả nguồn và dữ liệu thu thập được theo các yêu cầu tuân thủ áp dụng cho thị trường ngách và khu vực địa lý, ví dụ: GDPR ở EU, Đạo luật HIPAA và HITECH đối với dữ liệu chăm sóc sức khỏe ở Hoa Kỳ,...
Tóm lại, mọi công ty đầu tư vào công nghệ Big Data hiện nay đều phải giải quyết một số thách thức chung như bài viết đã đề cập đến. Trên đây là một vài đề xuất có thể giúp doanh nghiệp giải quyết thách thức và đón nhận những cơ hội lớn mà big data mang lại.
Nguồn tham khảo:
https://www.digiteum.com/10-big-data-challenges-solutions/
