Mười cân nhắc dành cho giải
pháp Big Data trên đám mây
Khởi động một môi trường tiêu thụ Big Data dễ dàng hơn trong nền đám mây
Tác giả nhấn mạnh 10 yếu tố mà một công ty nên xem xét khi bắt đầu một dự án
Big Data, thậm chí một trong số đó được coi là một thử nghiệm. Giải pháp dựa trên
nền đám mây được chú trọng vì nó giải quyết được nhiều yếu tố kỹ thuật phức tạp
trong bước đầu triển khai thực hiện Big Data.
Big Data là một khái niệm trong lĩnh vực CNTT đã và đang phát triển rất nhanh và
mạnh. Như trong nhiều lĩnh vực CNTT, công nghệ mới này lần đầu tiên được sử
dụng bởi các doanh nghiệp lớn và sau đó được chấp nhận sử dụng bởi các doanh
nghiệp vừa và nhỏ. Big Data dường như là một tiến trình giống hệt ra đời sau.
Khi Big Data phát triển trong thế giới thực, nó được áp dụng cho các thành phần
dữ liệu không phải là lớn lắm. Các bộ dữ liệu thường là nhỏ bởi đa phần là do các
chuẩn mực được thực hiện bằng các công cụ khai phá Big Data theo những cách
đặc biệt dành riêng cho cấu trúc Big Data.
Thậm chí, chúng ta đều đồng ý rằng trong tương lai, dữ liệu sẽ ngày càng nhiều
hơn chứ không có chuyện ít hơn; thêm nhiều nguồn dữ liệu sẽ gửi dữ liệu vào các
doanh nghiệp và tốc độ của dòng dữ liệu sẽ chỉ tăng lên. Đây là sân chơi tương lai
của Big Data. Một câu hỏi đặt ra về sân chơi đó là nơi mà nó sẽ tồn tại — trên tiền
đề hoặc trong nền đám mây — và nhằm vào các mục đích mà bạn cần phải cân
nhắc để lựa chọn dịch vụ.
Xác định một giải pháp Big Data đám mây
Giống như hầu hết các giải pháp với đám mây, việc xác định chính xác đám mây là
gì có thể hơi khó khăn. Có nhiều đặc trưng khác nhau của đám mây tồn tại trong
không gian Big Data và chưa có một định nghĩa thống nhất chung nào (mặc dù có
một số tốt hơn so với những cái khác).
Đầu tiên, hãy bắt đầu với một trò chơi đố chữ nho nhỏ. Trạng thái của Big Data đạt
được khi khối lượng, chủng loại và tốc độ của dữ liệu vào trở nên quá nhiều đối
với cơ sở dữ liệu quan hệ hiện hành để xử lý và sử dụng trong thời gian thực. Việc
triển khai các công nghệ trong Big Data là sự nỗ lực để xử lý điều kiện đó và cung
cấp những cách thức mới để sử dụng hiệu quả các dữ liệu đó — điều đó có nghĩa là
phần cứng và cách thức mới tổ chức dữ liệu cho việc lưu trữ và đọc cấp tốc. Đây là
bản chất của Big Data.
Đó cũng là lý do tồn tại của Apache Hadoop, MapReduce, và các dự án, sản phẩm
tương tự. Môi trường Big Data dựa trên nền đám mây cần có khả năng tham khảo
dữ liệu bên ngoài, chẳng hạn như hệ thống hoạch định nguồn lực doanh nghiệp và
các cơ sở dữ liệu tiền đề khác, mà luôn định kỳ cập nhật dữ liệu mới. (Bên ngoài ở
đây có nghĩa là bên ngoài môi trường ảo Sandbox của Big Data.)
Vấn đề cần quan tâm là "lưu trữ" dữ liệu. Tiếp theo, bạn cần biết cách để phân tích
và đưa việc phân tích này đến nơi nó sẽ tác động đến quá trình kinh doanh.
Một dịch vụ Big Data cần có khả năng nhìn vào một nguồn dữ liệu đa dạng từ bên
ngoài cho đến nguồn dữ liệu chính, có khả năng bao gồm dữ liệu mới trong trung
tâm dữ liệu, chứa các thành phần dữ liệu mới chưa từng nghĩ đến, và cung cấp một
phương pháp để phân tích và báo cáo dựa trên tổng thể. Nhu cầu về tính nâng cao,
tính linh hoạt và khả năng mở rộng sẽ tự hỗ trợ tốt đối với một môi trường Big
Data dựa trên nền đám mây.
Khởi bước vào Big Data trên đám mây
Những cân nhắc này bao gồm các tiêu chí đánh giá cơ bản cho việc khởi bước vào
Big Data. Bắt đầu, trải nghiệm và học hỏi trong suốt quá trình, nhưng khi bạn càng
xác định trước được nhiều những gì bạn cần từ Big Data thì bạn càng có nhiều thời
gian để tập trung vào trải nghiệm và bạn sẽ càng nhanh chóng đạt được kỹ năng
thiết lập tăng tốc.
1. Lập chỉ mục chung theo thời gian thực cho các dữ liệu máy bất kỳ
Đây là cốt lõi của dữ liệu lớn như hầu hết mọi người nghĩ về nó; nó thường được
đánh đồng với các dự án nguồn mở Hadoop (xem Tài nguyên). Đừng nhầm lẫn
giữa lập bảng chú dẫn trong Hadoop với một bảng chú dẫn trong cơ sở dữ liệu
quan hệ: Một chỉ số Hadoop là một chỉ số tập tin. Bằng cách này, Hadoop có thể
tiêu thụ nhiều loại dữ liệu khác nhau.
Hiện tại, các công ty có thể bị tràn ngập nguồn cấp dữ liệu từ tần số RFID (Radio
Frequency Identification - nhận dạng bằng sóng vô tuyến) lưu động, nhấp chuột
trang web, và các dữ liệu khác có thể được cấu trúc nếu dân CNTT dành thời gian
để làm cho nó thành dữ liệu cấu trúc và đặt nó trong một cơ sở dữ liệu quan hệ. Đó
có thể là giá trị đầu tư nếu bạn biết cách dữ liệu sẽ được sử dụng và cách nó sẽ
được truy vấn và truy cập trong tương lai.
Không cần phải biết tiềm năng sử dụng trong tương lai của dữ liệu mà Hadoop
cung cấp ra. Bằng cách lấy dữ liệu ngay lúc nó vừa đi vào, Big Data sẽ qua mặt
bước xác định dữ liệu cho đến sau này, khi việc phân tích được tiến hành. Hadoop
phân phối dữ liệu qua nhiều máy chủ và theo dõi những địa điểm mà không hạn
chế sử dụng trong tương lai.
2. Hình thức tìm kiếm tự do và phân tích dữ liệu dòng lịch sử và thời gian
thực
Lưu trữ dữ liệu chỉ là một phần của con đường đến mục tiêu. Các thông tin cần
phải tương đối dễ dàng để gọi về. Cách nhanh nhất để làm điều đó là cung cấp khả
năng tìm kiếm nhanh chóng (như trong việc thi hành, không phải thời gian đáp
ứng). Tìm kiếm một bộ công cụ cho phép tìm kiếm văn bản của dữ liệu phi cấu
trúc. Apache Lucene (xem Tài nguyên) là một công cụ phổ biến mà cung cấp chỉ
mục văn bản và tìm kiếm trong một môi trường dữ liệu lớn.
Việc có một phản hồi đúng trên màn hình làm người ta hài lòng, cảm giác giống
như rằng tất cả mọi thứ đang được lưu trữ đúng cách và có thể truy cập được. Các
bước quản trị của việc này là để lập chỉ mục nội dung của dữ liệu được lưu trữ
trong các nút phân bổ. Truy vấn tìm kiếm sau đó truy cập các chỉ mục trên các nút
phân bổ song song để cung cấp một phản hồi nhanh hơn.
3. Tự động khám phá tri thức từ dữ liệu
Đây là một trong những lý do kinh doanh sắp tới của Big Data. Cũng như việc
chuyển tất cả các dữ liệu bán cấu trúc thành một cơ sở dữ liệu quan hệ có thể
không hiệu quả, việc thực hiện tìm kiếm thủ công và báo cáo thủ công cũng không
hiệu quả gì cho công việc phân tích.
Khai phá dữ liệu và công cụ phân tích dự báo được nhanh chóng chuyển đổi để có
khả năng sử dụng Big Data như một nguồn dữ liệu phục vụ cho phân tích và trở
thành một cơ sở dữ liệu dành cho việc giám sát liên tục sự thay đổi. Tất cả các
công cụ khai phá dữ liệu điều tuân theo quy trình này. Một số xác định mục đích
của việc phân tích, xem xét các dữ liệu, và sau đó phát triển mô hình thống kê cung
cấp các hiểu biết thấu đáo hoặc đưa ra các dự đoán. Các mô hình thống kê đó cần
phải được triển khai trong môi trường Big Data để thực hiện đánh giá liên tục.
Phần này nên được tự động hóa.
4. Giám sát dữ liệu của bạn và cung cấp các cảnh báo theo thời gian thực
Tìm kiếm một công cụ để giám sát các dữ liệu trong Big Data. Công cụ này tồn tại
để tạo ra các truy vấn được xử lý liên tục, tìm kiếm các tiêu chí cần có.
Tôi không thể liệt kê tất cả những ứng dụng có thể giám sát dữ liệu đi vào Hadoop
theo thời gian thực. Giả định rằng hầu hết các dữ liệu ràng buộc là không có cấu
trúc và không dành cho một cơ sở dữ liệu quan hệ nào, giám sát theo thời gian thực
có lẽ là cách mà một phần tử dữ liệu được kiểm tra chặt chẽ nhất.
Ví dụ, bạn có thể thiết lập một cảnh báo khi các chip RFID trong một mặt hàng
thực phẩm đông lạnh được lưu trữ trong một khu vực không phải đông lạnh. Đó là
cảnh báo có thể đi trực tiếp vào thiết bị di động được sử dụng trong các kho, ngăn
ngừa hư hỏng thực phẩm.
Những chuyển động của khách hàng trong một cửa hàng cũng có thể được theo dõi
và các quảng cáo sẽ được nhằm vào chính xác vị trí mà khách hàng đang đứng
trước một mặt hàng cụ thể, sẽ được phát trên màn hình tại vị trí chiến lược. (Điều
này còn xa vời và có thể hơi giống "Big Brother" một chút, nhưng rất khả thi.)
5. Cung cấp năng lực phân tích và báo cáo ad hoc
Giống như trong khai khoáng dữ liệu tự động và khám phá tri thức, các nhà phân
tích cũng cần truy cập để lấy và tóm tắt thông tin từ Big Data trong môi trường
đám mây. Bảng danh sách các nhà cung cấp mà công cụ của họ phục vụ cho việc
báo cáo từ Big Data, dường như mỗi ngày lại dài ra thêm.
Một số công cụ sử dụng Apache Hive, và HQL (Hive Query Language - ngôn ngữ
truy vấn Hive; xem Tài nguyên). Các câu lệnh của HQL cũng tương tự như các câu
lệnh của SQL (Structured Query Language - Ngôn ngữ truy vấn có cấu trúc) và
nhiều công cụ mà cung cấp các kiểu báo cáo quen thuộc từ Big Data cũng sử dụng
HQL và giao diện Hive để chạy truy vấn xuyên suốt MapReduce.
Apache Pig là một dự án mã nguồn mở khác dành cho việc báo cáo và thao tác trên
Big Data. Cú pháp của nó không giống với SQL cho lắm nhưng lại rất giống với
một ngôn ngữ kịch bản (scripting). Nó cũng vận hành xuyên suốt quá trình xử lí
MapReduce để tiện cho việc xử lí song song.
Các nhà cung cấp Big Data đám mây nên chấp nhận cả hai dạng câu lệnh HQL và
Pig đến từ các yêu cầu bên ngoài. Bằng cách đó, kho lưu trữ Big Data có thể được
truy vấn bởi những người sử dụng công cụ theo cách chọn lựa của riêng họ, thậm
chí sử dụng cả những công cụ mà trước đó chưa hề được tạo ra.
6. Cung cấp khả năng xây dựng nhanh chóng các khung nhìn và bảng giám
sát tùy chỉnh
Giống như sự phát triển các dự án thu thập tin tức kinh doanh truyền thống, khi
mọi người có thể thực hiện truy vấn trên Big Data và xuất ra các báo cáo, họ muốn
tự động hóa chức năng đó và tạo ra một bảng giám sát với các hình ảnh đẹp mắt để
tiện việc xem đi xem lại nhiều lần.
Trừ khi người dùng tự viết ra các câu lệnh Hive và chỉ sử dụng cấu trúc Hive,
nhưng hầu hết các công cụ đều có một số khả năng để tạo ra các khung hiển thị
dưới dạng bảng giám sát từ những câu lệnh truy vấn của chúng. Vẫn còn hơi sớm
để triển khai Big Data cho việc trích dẫn ra các ví dụ về bảng giám sát. Có một dự
báo, mà dựa trên lịch sử trong ngành thu thập tin tức kinh doanh, cho rằng, các
bảng giám sát sẽ trở thành một phương tiện diễn đạt nội bộ rất quan trọng dành cho
các Big Data tóm lược. Và theo dòng lịch sử của Business Intelligence, việc có
được các bảng giám sát Big Data tốt sẽ rất quan trọng cho việc lấy và duy trì các
hỗ trợ thi hành.
7. Quy mô có hiệu quả đối với bất kỳ khối lượng dữ liệu sử dụng phần cứng
thương mại
Khi sử dụng một dịch vụ dữ liệu lớn đám mây, đây là một quan điểm lý thuyết hơn
là thực tiễn. Nó còn tùy vào quyết định của nhà cung cấp dịch vụ để có được, sự
cung cấp, và triển khai phần cứng vào đúng chỗ mà dữ liệu thường trú. Việc lựa
chọn phần cứng không thành vấn đề.
Thật biết ơn khi các hóa đơn thanh toán Big Data chỉ đến từ việc thiết kế để sử
dụng phần cứng thương mại. Có các nút liên kết chắc chắn trong nền kiến trúc nơi
mà một máy chủ "chất lượng cao" làm việc tốt. Tuy nhiên, phần lớn các nút
(những nút lưu trữ dữ liệu) trong một kiến trúc dữ liệu lớn có thể nằm ở chỗ phần
cứng "kém chất lượng hơn".
8. Cung cấp sự kiểm soát truy cập và an ninh dựa trên vai trò phân chia
Khi dữ liệu phi cấu trúc tồn tại trong một thế giới dữ liệu quan hệ, sự phức tạp của
việc truy xuất dữ liệu có thể cản trở mọi người trong việc lấy ra dữ liệu. Các công
cụ báo cáo thông thường sẽ không giúp ích. Việc chuyển đổi thành Big Data là một
bước tích cực hướng về việc làm cho sự phức tạp trở nên dễ dàng hơn để truy xuất.
Nhưng không may, các thiết lập an ninh giống như vậy thường không chuyển đổi
các hệ thống quan hệ hiện hữu thành dạng Big Data.
Có được một sự an ninh tốt sẽ trở nên quan trọng hơn nữa khi mà Big Data ngày
càng được sử dụng nhiều hơn. Ban đầu, việc an ninh có thể thoải mái bởi vì không
ai biết làm gì với Big Data (tôi đang bị mỉa mai đấy!). Khi các công ty phát triển
thêm nhiều trình phân tích sử dụng dữ liệu trong Big Data. Các thành quả cần được
bảo vệ, cụ thể là các báo cáo và các bảng giám sát, cũng tương tự cho cách làm thế
nào để bảo vệ các hệ thống quan hệ.
Khởi đầu với Big Data đám mây, cần chú ý đến nhu cầu áp dụng an ninh vào một
số mục đích nào đó, cụ thể là cho môi trường giám sát và báo cáo. Để khởi đầu, tuy
nhiên, tôi khuyên là hãy để các trình phân tích chạy tự do. Đó là cách tốt nhất để
phát triển nên sự hiểu biết mới.
9. Hỗ trợ multi-tenancy (đa thuê mướn) và triển khai linh hoạt
Việc sử dụng điện toán đám mây đã mang lại khái niệm về multi-tenancy — rõ
ràng, không phải là một xem xét trên tiền đề môi trường Big Data.
Nhiều người lo lắng về việc đặt dữ liệu quan trọng trong một môi trường đám mây.
Điều quan trọng là các đám mây cung cấp cho việc triển khai với chi phí thấp và
nhanh chóng cần thiết để bắt đầu dự án Big Data. Đúng vậy, vì nhà cung cấp điện
toán đám mây sẽ đặt các dữ liệu trong một kiến trúc mà tài nguyên phần cứng được
chia sẻ, chi phí thì thấp hơn đáng kể.
Tất cả mọi thứ đều như nhau , điều này thật tốt khi chỉ có dữ liệu của bạn trên
chính máy chủ của bạn với một người nào đó quản lý toàn bộ việc cài đặt. Tuy vậy,
đó không phải là một mô hình kinh doanh hiệu quả khi nhu cầu Big Data đôi lúc bị
gián đoạn. Kết quả là tốn chi phí hơn vì các công ty sẽ phải chi trả cho nhiều thời
giờ vô ích, đặc biệt là trong các dự án đầu, khi các nhà phân tích vẫn còn đang
khám phá, vận dụng, và học hỏi về Big Data.
10. Tích hợp và mở rộng thông qua các tài liệu hướng dẫn API
Có nhiều cách hiểu bài viết này có thể là một số ít dự án Big Data xa vời với cách
viết các giao diện phần mềm của riêng chúng dành cho Big Data. Cũng nên để ý,
mặc dù, điều đó có thể và đang được thực hiện mỗi ngày.
Big Data được thiết kế để truy cập bởi các ứng dụng tùy chỉnh. Các phương pháp
tiếp cận phổ biến là sử dụng giao diện lập trình ứng dụng (APIs) RESTful
(Representational State Transfer - Bộ truyền trạng thái đại diện). Những thứ này
đều có sẵn cho tất cả các ứng dụng trong môi trường Big Data — để quản lý kiểm
soát, lưu trữ dữ liệu và báo cáo số liệu. Bởi vì tất cả các thành phần cơ bản của Big
Data là mã nguồn mở, các API này đều được chỉ dẫn bài bản và hiện diện công
khai để sử dụng. Hy vọng rằng, các nhà cung cấp Big Data đám mây sẽ cho phép
truy cập vào tất cả các API hiện hành và tương lai, đặt dưới chế độ bảo mật thích
hợp.
Bắt đầu với Big Data trên đám mây
Với 10 điều cân nhắc then chốt ở trên, hãy chọn lựa nhà cung cấp Big Data phù
hợp với bạn. Cái gì? Cần thông tin gì?
Thực tế, một dự án Big Data khởi đầu bằng việc thực hiện hết mọi thứ mà tôi vừa
mô tả trong chế độ hàng loạt, bỏ đi khía cạnh thời gian thực cho sau này. Khi nói
về chế độ hàng loạt, ý của tôi là khi các công cụ và các quá trình xử lý được
nghiên cứu, môi trường Big Data không cần phải chạy liên tục nữa. Tôi đề nghị tìm
kiếm một nhà cung cấp mà cho phép việc bắt đầu và dừng các thể hiện của máy
chủ khi cần để giảm thiểu chi phí.
Cài đặt tiền đề môi trường Big Data của riêng bạn, đòi hỏi phải có kĩ năng về công
nghệ Java™ và các kĩ năng cơ bản về Linux® cũng như UNIX®. Khi đã nắm vững
điều này, hãy hỏi nhà cung cấp nền điện toán đám mây trong tương lai rằng, khối
lượng công việc quản lý cần thực hiện là bao nhiêu hoặc mức độ tiếp nhận dịch vụ
khi chuyển giao.
Một nơi để ghé thăm và học hỏi cách cài đặt, thử nghiệm, và duy trì một môi
trường Big Data là BigDataUniversity.com (xem Tài nguyên). Đăng kí tại đó miễn
phí. Các video nhiều giờ được sắp xếp bởi nhiều đường dẫn và thậm chí site còn đề
tặng các chứng chỉ cho việc hoàn thành nhiều theo dõi. Như bài viết này đã nói,
quyển sách điện tử Hadoop for Dummies sẵn sàng để tải về miễn phí.
Cùng với việc học hỏi, là việc cung cấp một ví dụ về môi trường Big Data của một
trong các nhà cung cấp. Nhiều hướng dẫn học hỏi tại BigDataUniversity.com bao
gồm cách cài đặt và sử dụng Big Data trong IBM SmartCloud và trên Amazon
Web Services. Những dịch vụ đám mây này (và nhiều cái khác) loại bỏ được nhiều
sự phức tạp trong việc cài đặt và trưng dụng môi trường của bạn. Xem video
hướng dẫn tại BigDataUniversity.com để vượt qua các thách thức mà thường cản
trở những cái khác trong việc cài đặt và thử nghiệm Big Data cho lần đầu tiên sử
dụng.
Thật may mắn, các dịch vụ điện toán đám mây đã tháo bỏ nhiều vấn đề bảo trì
trong một môi trường Big Data ra khỏi danh sách tác vụ. Chúng dĩ nhiên sẽ đảm
nhiệm việc trông coi phần cứng và các nhu cầu của phòng máy chủ. Bạn sẽ phải
duy trì dữ liệu, thêm vào các máy chủ và các kho lưu trữ dữ liệu thay thế khi cần
phát triển thêm nữa.
Big Data là một trải nghiệm nghiên cứu và phát triển cho tất cả mọi người. Các
công cụ mới và đa dạng liên tục xuất hiện trên thị trường. Các nhà cung cấp đang
tồn tại trong một môi trường Business Intelligence đang cung cấp các bộ liên kết
để sử dụng công cụ của họ với các bộ hỗ trợ Big Data.
Việc sử dụng một môi trường Big Data đám mây sẽ làm cho việc khởi đầu trở nên
dễ dàng nhiều hơn nữa. Mang lợi thế của cơ chế khởi động đơn giản bằng việc sử
dụng một dịch vụ điện toán đám mây đến với Big Data trong một dự án nhỏ ban
đầu. Đừng ngại khó mà hãy học hỏi. Làm sáng tỏ các giá trị sau đó, hãy tự tin
chuyển qua các dự án lớn hơn trong một tương lai không xa.
