Chào các bạn

Mình đang có 1 vấn đề chưa biết giải quyết ra sao cụ thể như thế này

Mình có 1 cấu trúc bảng quy định cụ thể VD: bảng Table_A có cột X, Y, Z

Và mình có khoảng 3-4 kho nằm ở nguồn khác nhau mình muốn đồng bộ tất cả chúng về Table_A nhưng mà ở mỗi kho nó lại có 1 cấu trúc khác nhau

Cách giải quyết của mình đang dùng là viết một app query ở từng kho trả về theo đúng cấu trúc của Table_A và insert vào đó, mình nghỉ cái này chắc 1 số bạn đã làm rồi

Nhưng vấn đề không dừng ở đó do dữ liệu của mình rất lớn nên mỗi lần chạy mình phải mở nhiều kết nối để chia nhỏ ra, nhưng dù đã chia nhỏ ra thì dữ liệu cũng đã rất lớn cụ thể: mình chia ra làm 30 kết nối mỗi kết nối nó xử lý ít nhất 200.000 bảng ghi

Chưa kể đến việc mình phải chạy hằng giờ để đồng bộ từ các kho đó khi đồng bộ như vậy mình phải kiểm tra xem bảng ghi đó có nằm trong Table_A hay chưa mới cho nó insert vào, việc này rất tốn thời gian và vùng nhớ của hệ thống

Các bạn, anh chị nào đã gặp hoặc đang giải quyết vấn đề như mình cho mình (em) cách giải quyết với ạ


Cảm ơn.

p/s khi chạy dữ liệu như vậy mình rất hay gặp tình trạng bị mất kết nối hoặc là bị ORA-03135: connection lost contact
Mình cũng đã thử dùng Golden Gate của Oracle nhưng mà mỗi kho nó có cấu trúc khác nhau nên không dùng Golden Gate vs lại nếu là kho oracle và sql server thì Golden Gate cũng bó tay