Giới thiệu các môi trường triển khai Agent dành cho ODI 12c

Agent trong ODI là gì?

Agent là 1 ứng dụng Java thường được cài đặt trên máy chủ để lắng nghe các yêu cầu và xử lý các yêu cầu này.

Theo hình, khi có 1 tác vụ xử lý dữ liệu được gửi từ ODI Studio, Agent sẽ nhận yêu cầu này, lấy các thông tin từ Master và Work Repository kết hợp chúng lại tạo thành 1 tác vụ chạy hoàn chỉnh. Tác vụ này sẽ được chuyển xuống các dữ liệu nguồn (Source) để xử lý, kết quả sau đó sẽ được chuyển qua lưu tại dữ liệu đích (Target); và cuối cùng là cập nhật các log xử lý về lại Work Repository.

Các loại Agent trong ODI 12c

Phiên bản ODI 12c hỗ trợ 3 chế độ triển khai Agent: JEE, Colocated và Standalone. Bài viết này sẽ lần lượt giới thiệu từng môi trường triển khai để giúp cho các nhà phát triển có thể lựa chọn 1 môi trường triển khai phù hợp.

Loại ODI Agent	Tùy chọn khi cài đặt
Standalone Agent	Standalone Installation
JEE Agent	Enterprise Installation
Colocated Agent	Enterprise Installation

Bảng tóm lượt các loại Agent tương ứng khi cài đặt ODI 12c

Môi trường Standalone Agent

Môi trường Standalone là môi trường đầu tiên của ODI và vẫn được Oracle duy trì cho đến ngày nay. Ích lợi đầu tiên có thể kể đến của môi trường này đó là yêu cầu tài nguyên rất thấp – không đòi hỏi phải có 1 máy chủ ứng dụng riêng  biệt để triển khai vì chương trình ứng dụng chạy trên môi trường này là 1 ứng dụng Java độc lập. Ứng dụng này bao gồm tất cả các tính năng cần thiết để thực hiện các tác vụ tích hợp dữ liệu bao gồm luôn cả việc hỗ trợ tạo Web-service từ các tác vụ này. Agent được cài đặt trong môi trường này có các điểm lợi sau:

• Agent được cài đặt trực tiếp trên cùng máy chủ Cơ sở dữ liệu (CSDL) do vậy giảm thiểu được thời gian truyền tải dữ liệu qua môi trường mạng khi thực hiện các tác vụ tích hợp dữ liệu.
• Với các yêu cầu tích hợp dữ liệu là các tập tin dữ liệu (flat file) thì các đoạn script tích hợp dữ liệu không thể truy xuất được các tập tin này qua môi trường mạng được. Chính vì vậy việc cài đặt Agent trên máy chủ chứa file này là 1 lựa chọn phù hợp cho các đoạn script tích hợp có thể thực thi được.

Môi trường JEE Agent

Môi trường Standalone chỉ phù hợp với các mô hình tích hợp dữ liệu nhỏ và đơn giản. Với các mô hình tích hợp dữ liệu lớn và phức tạp, mô hình Standalone này tỏ ra không đáp ứng được. Chính vì vậy Oracle giới thiệu mô hình JEE Agent (JEE Agent có thể được cài đặt cùng với WebLogic Server) để giải quyết các giới hạn của mô hình Standalone gồm:

• Tính sẵn sàng cao (High Availability): trong môi trường doanh nghiệp, việc đảm bảo các Agent luôn sẵn sàng và chạy liên tục là 1 yêu cầu quan trọng. Điều này càng quan trọng hơn nếu như các Agent này được thiết lập lịch để chạy tự động bởi vì dữ liệu tích hợp sẽ bị thiếu nếu như tại thời điểm lịch chạy tự động các Agent này không hoạt động. Để giải quyết việc này, Oracle đưa ra mô hình Cluster – trong mô hình này các Agent được cài đặt trên nhiều máy chủ trong cùng 1 cụm chạy trên WebLogic Server. Mô hình này đảm bảo được khi 1 Agent trong cụm Cluster không hoạt động khi đến lịch chạy thì vẫn có Agent trên máy chủ khác thực thi tác vụ.
• Linh hoạt trong việc cấu hình kho dự trữ kết nối (Connection Pooling): so với mô hình Standalone sử dụng kho dữ trữ kết nối ở dạng UCP (Universal Connection Pool) nhưng không linh hoạt trong việc cấu hình các tham số kết nối thì mô hình JEE Agent lại linh hoạt hơn trong việc cho phép cấu hình các tham số này thông qua WebLogic Server. Việc thay đổi các tham số cho Connection Pooling sẽ giúp cho các tác vụ thực hiện tích hợp hệ thống giữ được các kết nối liên tục với CSDL do vậy sẽ tác vụ tích hợp sẽ chạy nhanh hơn và hiệu quả hơn.
• Quản trị, giám sát và cảnh báo tập trung: thông qua Oracle Enterprise Manager Cloud (OEM), giờ đây các ODI JEE Agent có thể được tập trung quản lý và giám sát dễ dãng hơn.

Môi trường Colocated Agent

Đây là loại Agent mới ở phiên bản ODI 12c. Colocated Agent là sự kết hợp của Standalone Agent và JEE Agent. Cụ thể: các tính năng của Standalone Agent đều có ở Colocated Agent và kết hợp thêm 1 tính năng khác của JEE Agent là có chức năng quản lý thông qua WebLogic Server.

Tổng kết

Về tính năng

	Standalone	Colocated	JEE
Nhỏ gọn	√	√
Chạy được trên Exadata	√	√
Agent được phát triển bằng Java	√	√	√
Có thể lập lịch chạy tự động	√	√	√
Quản lý Workflow	√	√	√
Cung cấp Web Services	√	√	√
Quản lý kết nối	√	√	√
Tích hợp LDAP	√	√	√
Tính năng cảnh báo		√*#	√#
Thay đổi cấu hình tham số Connection Pool			√
HA			√
Khả năng Scale-Out			√

(^*): Chỉ hoạt động khi Node Manager được cài đặt và đang ở chế độ hoạt động

(^#): Tính năng của Oracle Enterprise Manager (không phải tính năng của Agent)

Về mô hình triển khai

Tham khảo:

http://www.ateam-oracle.com/odi-agents-standalone-jee-and-colocated/

http://www.canburaktumer.com/blog/odi-11g-odi-12c-whats-agent/

Read More

Giới thiệu về Oracle SPARC T7 và M7

Các máy chủ dòng SPARC T7 và M7 của Oracle là các hệ thống máy chủ cao cấp nhất thế giới dành cho các công việc chịu tải cao trong doanh nghiệp được tích hợp các công nghệ độc nhất cho bảo mật thông tin, cơ sở dữ liệu và tăng tốc ứng dụng được phát triển trên nển tảng Java. Công nghệ Software in Silicon trong bộ xử lý SPARC mới của Oracle cung cấp tính năng mã hoá nhanh toàn bộ dữ liệu, phát hiện và chống tấn công truy cập dữ liệu từ vùng nhớ. Máy chủ cũng có khả năng phân tích thời gian thực cho các cơ sở dữ liệu  OLTP bằng cách tăng tốc các câu lệnh truy vấn trong vùng nhớ (Oracle Database In-Memory) khi sử dụng với phiên bản Oracle Database 12c.

Máy chủ Oracle SPARC cho phép các tổ chức IT có thể tự cung cấp hạ tầng IT có hiệu năng và tính bảo mật cao với mức chi phí thấp so với các hệ thống tương tự. Doanh nghiệp có thể sử dụng hệ thống này trong các môi trường chịu tải như: cơ sở dữ liệu, các ứng dụng thông thường, các ứng dụng có sử dụng ngôn ngữ Java và các ứng dụng lớp giữa và đặc biệt là trong môi trường điện toán đám mây. Hệ thống này dựa trên bộ vi xử lý SPARC M7, lần đầu tiên được sử dụng trong cuộc cách mạng về công nghệ của Oracle và được nhắc đến với tên gọi là Software in Silicon.

Công nghệ Software in Silicon là 1 bước đột phá trong việc thiết kế bộ vi xử lý và máy chủ, có khả năng giúp các cơ sở dữ liệu và các ứng dụng chạy nhanh hơn với độ tin tưởng và bảo mật chưa từng có. Tính năng Silicon Secured Memory trên bộ xử lý SPARC M7 cung cấp khả năng phát hiện và ngăn chặn các hành động truy cập không hợp lệ vào dữ liệu của các ứng dụng đang chạy từ vùng nhớ. Tính năng này có thể chặn các phần mềm độc hại khai thác các lỗ hỗng phần mềm như lỗi tràn bộ đệm. Công nghệ Silicon Secured Memory dùng phần cứng dò quét lỗ hỗng cho kết quả nhanh hơn so với cách truyền thống là sử dụng các phần mềm dò quét, kết quả là các vấn đề về bảo mật được kiểm tra ngay trên môi trường Production mà không có tác động đáng kể nào đến hiệu năng của hệ thống. Hơn nữa, trong nhân mỗi bộ xử lý có chứa bộ tăng tốc mã hóa cho phép các tổ chức IT có thể cung cấp giải pháp mã hóa dữ liệu trọn gói và các giao dịch có tính bảo mật mà mức ảnh hưởng đến hiệu năng của hệ thống gần như bằng không. Tóm lại, chúng ta có thể dễ dàng kích hoạt tính năng bảo vệ và mã hóa dữ liệu mà không cần thêm 1 khoảng đầu tư nào về phần cứng nữa.

In-memory Query Acceleration là 1 tính năng độc đáo khác nữa của công nghệ Software in Silicon trong các dòng máy chủ SPARC M7. Tính năng này được tích hợp vào các bộ tăng tốc trên chip để giải quyết tất cả các vấn đề có liên quan đến SQL khi sử dụng với Oracle Database In-Memory ở phiên bản Oracle Database 12c. Các bộ tăng tốc này sẽ lợi dụng băng thông rất cao của vùng nhớ để xử lý dữ liệu với tốc độ tối đa. Việc chuyển xử lý các câu lệnh truy vấn lên vùng nhớ này sẽ giải phóng được bộ xử lý và dành tài nguyên này cho những công việc khác. Hơn nữa, các bộ tăng tốc này còn có khả năng trực tiếp xử lý dữ liệu bị nén, việc này giúp cho các cơ sở dữ liệu có kích thước lớn hơn kích thước vùng nhớ vẫn có thể được lưu lại trong vùng nhớ hoặc có thể cấu hình các máy chủ có kích thước vùng nhớ giới hạn nhưng vẫn có thể chứa vừa kích thước của cơ sở dữ liệu. Kết quả là chúng ta có thể chạy các câu lệnh phân tích trong bộ nhớ rất nhanh nhưng kích thước vùng nhớ tiêu tốn thì ít hơn so với kích thước của dữ liệu mà không làm tăng đáng kể mức sử dụng của máy chủ hoặc làm ảnh hưởng đến các tác vụ OLTP khác.

Video: Tăng tốc xử lý Cơ sở dữ liệu bằng công nghệ SQL in Silicon

Hiệu năng của các máy chủ dựa trên bộ xử lý SPARC M7 đến từ 32 cores, mỗi core chứa 8 luồng xử lý xử dụng công nghệ phân luồng động độc đáo. Bộ xử lý có thể linh hoạt nhập lại thành 1 luồng xử lý đơn hoặc phân ra tạo thành 256 luồng chạy. Các nhân xử lý được thiết kế để tăng tốc với các ứng dụng Java đặc biệt là phiên bản Java 8 trở lên và các ứng dụng dành cho doanh nghiệp. Thiết kế hiệu quả này khi được sử dụng cùng với công nghệ ảo hóa Oracle Solaris thì chi phí phát sinh gần như bằng không so với giải pháp ảo hóa dùng trên các hệ thống Intel Xeon.

Bước đột phá về công nghệ này trên các máy chủ SPARC được kích hoạt khi sử dụng hệ điều hành Oracle Solaris. Phiên bản Oracle Solaris 11 là 1 nền tảng mở và bảo mật được thiết kế cho các môi trường điện toán đám mây cho doanh nghiệp và có khả năng mở rộng; nó được tối ưu cho cơ sở dữ liệu Oracle, các phần mềm lớp giữa và các phần mềm ứng dụng. Các vấn đề bảo mật có thể dễ dàng được thiết lập hoặc cấu hình mặc định. Việc bảo trì và cập nhật bản vá cũng hết sức đơn giản chỉ với vài thao tác. Oracle Solaris 11 kết hợp với OpenStack giúp chúng ta có thể dễ dàng tạo ra 1 hạ tầng điện toán đám mây cho các ứng dụng.

Các tính năng ảo hóa được xây dựng sẵn trên các máy chủ Oracle SPARC bao gồm Oracle Solaris Zones và Oracle VM Server. Những tính năng này cho phép các công việc nặng của doanh nghiệp có thể chạy trên môi trường ảo hóa với mức ảnh hưởng hiệu năng gần như bằng không. Chúng ta có thể ảo hóa và hợp nhất nhiều máy chủ lại thành 1 máy chủ nhằm giảm lượng máy chủ vật lý cũng như giảm thiểu chi phí vận hành, chi phí điện năng và chi phí làm lạnh cho hệ thống. Công nghệ Oracle Solaris Zones cung cấp khả năng để chạy các ứng dụng đòi hỏi các phiên bản trước của Oracle Solaris.

Các tính năng cao cấp khác của máy chủ SPARC T7 bao gồm: dung lượng vùng nhớ lớn, băng thông cao hơn và độ trễ thấp nhờ vào các thiết bị điều khiển vùng nhớ được tăng cường trên mỗi socket, bộ nhớ DDR4 nhanh hơn vì tiêu tốn ít điện năng hơn và các công nghệ tăng tốc. Hệ thống IO phụ hỗ trợ các kết nối giao tiếp Low-Profile PCIe 3.0 và công nghệ NVMe Flash theo chuẩn nhằm cung cấp khả năng lưu trữ dung lượng cao với độ trễ thấp. Các bộ điều khiển tích hợp cho hệ thống mạng, đĩa cứng và quản trị giúp giảm thiểu chi phí và cung cấp khả năng mở rộng cao.

Tất cả các máy chủ Oracle đều được tích hợp công cụ quản trị, người dùng không phải tốn thêm chi phí nào khác. Oracle Integrated Lights Out Manager (Oracle ILOM) sử dụng các giao thức kết nối chuẩn giúp bảo mật toàn diện việc quản trị nội bộ hoặc từ xa bao gồm việc giám sát và quản trị nguồn điện, phát hiện lỗi và cảnh báo lỗi. Các khách hàng Oracle Premier Support có quyền truy cập vào My Oracle Support và các công cụ quản trị đa máy chủ thông qua Oracle Enterprise Manager Ops Center – 1 công cụ quản trị hệ thống kết hợp với Oracle Enterprise Manager để quản lý toàn diện các máy chủ, thiết bị lưu trữ và thiết bị mạng cho 1 kiến trúc IaaS hoàn chỉnh. Oracle Enterprise Manager Ops Center cũng có tính năng tự động gửi yêu cầu thực hiện dịch vụ khi các sự cố tiềm tàng được phát hiện và báo cáo đến Oracle’s Support Center mà không cần sự can thiệp của người dùng, đảm bảo được chất lượng dịch vụ tối đa và cách thức hỗ trợ đơn giản.

Read More