Goldengate ile Replike Edilen Tabloların Db İçerisinden Listelenmesi

Oracle goldengate ile source ve target dbler arasında tablo replikasyonu yapıldığında hangi tablonun replike edildiği bilgisini dirprm dizini içerisinden aramak gerekmektedir. Bu zahmetten kurtulmak için bash scripti ile parametre dosyalarını her gece okuyup db içerisine anlaşılır bir şekilde kaydedebiliriz.

İşlemi tamamlandıktan sonra aşağıdaki şekilde bir yapıya sahip olacağız.

TBL_SOURCE    TBL_TARGET    DEF_FILE_NAME    MAPPING_STR
HR.EMPLOYEE HR.EMPLOYEE /gg/dirprm/rephr.prm MAP HR.EMPLOYEE, TARGET HR.EMPLOYEE, colmap( usedefaults, systime = @GETENV (GGHEADER, COMMITTIMESTAMP));

Goldengate scheması içerisinde aşağıdaki tabloyu oluşturduktan sonra sh scriptini linux üzerinde çalıştırıp tablonun içerisini kontrol edebilirsiniz. Kullandığınız goldengate schemasına göre scripti düzenleyebilirsiniz. Bu örnekte “ggowner” scheması kullanılmıştır.

CREATE TABLE GGOWNER.REPLICATED_TABLES
(
TBL_SOURCE VARCHAR2(120 BYTE),
TBL_TARGET VARCHAR2(120 BYTE),
DEF_FILE_NAME VARCHAR2(120 BYTE),
MAPPING_STR VARCHAR2(4000 BYTE)
)
TABLESPACE TBS_GG;

Aşağıdaki bash scripti /home/oracle/ veya kendi belirleyeceğiniz bir dizin altına yükleyebilirsiniz.

$ cat ./gg_replicated_tables.sh

#!/bin/bash

/tmp/ggrepliketbl.list
/tmp/ggrepliketbl.insert
/tmp/ggrepliketbl.listnew

echo "truncate table ggowner.replicated_tables; " > /tmp/ggrepliketbl.insert

echo "/" >> /tmp/ggrepliketbl.insert

for fname in /gg/dirprm/*.prm;
do
while read LINE
do
echo | awk '{ print substr("'"$fname $LINE"'",1,900)}' >> /tmp/ggrepliketbl.list
done < $fname
done

search_string="'"
replace_string="__"
sed "s/$search_string/$replace_string/g" /tmp/ggrepliketbl.list > /tmp/ggrepliketbl.listnew

search_string=".prm"
replace_string=".prm','"

sed "s/$search_string/$replace_string/g" /tmp/ggrepliketbl.listnew >/tmp/ggrepliketbl.list

while read LINE
do
echo "insert into ggowner.replicated_tables (DEF_FILE_NAME,MAPPING_STR) values ('$LINE'); " >> /tmp/ggrepliketbl.insert
done < /tmp/ggrepliketbl.list

echo "commit;" >> /tmp/ggrepliketbl.insert
echo "exit;" >> /tmp/ggrepliketbl.insert

sqlplus / as sysdba @/tmp/ggrepliketbl.insert
sqlplus / as sysdba <<EOF
update ggowner.replicated_tables set tbl_source = trim(replace(REGEXP_SUBSTR(replace(replace(replace(MAPPING_STR,' ',' '),' ,',','),' ,', ','), 'MAP (\S),'), 'MAP', '')), tbl_target = trim(replace(REGEXP_SUBSTR(replace(replace(replace(MAPPING_STR,' ',' '),' ,',','),', ', ','), ',TARGET (\S),'), 'TARGET', ''));
update ggowner.replicated_tables set tbl_source = trim(replace(tbl_source,',','')),
tbl_target = trim(replace(tbl_target,',',' '));

delete from ggowner.replicated_tables where tbl_source is null and tbl_target is null and MAPPING_STR not like '%MAP%';

commit;
exit;
EOF

rm /tmp/ggrepliketbl.list
rm /tmp/ggrepliketbl.insert
rm /tmp/ggrepliketbl.listnew

Eğer goldengate replikasyonu yapılan tabloların listesini her gece güncellemek istiyorsanız ilgili scripti crontab’a ekleyebilirsiniz. Scripti crontab içerisinden çalıştıracaksanız oracle_sid ve oracle_home değişkenlerinin set edildiğinden mutlaka emin olun.

PostgreSQL Tablo Yetki Problemi – ERROR: permission denied for schema “schema_name”

Postgresql de kullanıcıların owneri olmadıkları tablolara select çekebilmesi için verilen “grant select on tbl_name to user” tek başına yeterli olmamaktadır. Bu yetki tanımlandığı halde aşağıdaki hatayı alıyorsanız çözümü bu yazıda bulabilirsiniz.,

ERROR:  permission denied for schema "schema_name"
SQL state: 42501

Bu örnekte db create edip farklı kullanıcılardan o db de bulunan tablolara select yetkisi tanımlama işlemi yapacağım.

Aşağıdaki gibi db create edilmiştir. Bu db’nin owneri postgres (Postgres default ve admin yetkisine sahip user’dir) kullanıcısıdır.

CREATE DATABASE "TESTDB"
WITH
OWNER = postgres
ENCODING = 'UTF8'
CONNECTION LIMIT = -1;

TESTDB create edildikten sonra db içerisinde default olarak public scheması gelecektir. Bu schemanın owneri postgres olacaktır. “emrah” kullanıcısına ait yeni bir schema oluşturup içerisine tablo oluşturacağım.

CREATE SCHEMA newschema
AUTHORIZATION emrah;

COMMENT ON SCHEMA newschema
IS 'this schema depend to emrah';

-- emrah kullanıcısından login olup tablo create edilmiştir.
CREATE TABLE newschema.tbl1 (
col1 character(100),
col2 character(100)
);
ALTER TABLE newschema.tbl1
OWNER to emrah;

Emrah kullanıcısından tabloya Taner kullanıcısı için select yetkisi tanımlama işlemini şağıdaki gibi yapıyorum

-- Yetki emrah kullanıcısından login olunarak tanımlanmıştır.
GRANT SELECT ON TABLE newschema.tbl1 TO taner;

Taner kullanıcısı ile login olup select çektiğimde aşağıdaki hata ile karşılaşıyorum.

SQL> SELECT * FROM newschema.tbl1;

ERROR: permission denied for schema newschema
LINE 1: SELECT * FROM newschema.tbl1
^
SQL state: 42501
Character: 15

Postgrenin bu hatayı vermesinin nedeni create edilmiş schema (newschema) üzerinde Taner kullanıcısının usage yetkisinin bulunmamasından kaynaklanmaktadır. Yetki aşağıdaki şekilde tanımlanmalıdır.

GRANT USAGE ON SCHEMA newschema TO taner;

Eğer ilgili schema içerisinde Taner kullanıcısına table create yetkisi de tanımlamak istiyorsanız aşağıdaki yetkiyi de beraberinde verebilirsiniz. Bu yetki tanımlandığında ilgili schema içerisinde; kullanıcı table create ve owneri olduğu tablolara drop/alter yetkisinde sahip olacaktır.

GRANT CREATE ON SCHEMA newschema TO taner;

Procedure İçerisinden Dictionary Viewlere Erişim

Oracle db içerisinde procedure oluşturup scheduler job içerisinden çağırıldığı durumlarda yetki hatası ile karşılaşılabilir. (Eğer procedure içerisinden v$session gibi dictionary viewlere select çekiliyorsa)

Procedure içerisinden dictionary objelere ulaşmak istiyorsanız aşağıdaki yetkinin ilgili kullanıcıya tanımlanması gerekmektedir.

Kullanıcı DBA rolüne sahip olsa bile bu yetkilerin verilmesi gerekmektedir.

-- Tüm dictionary viewlere erişim yetkisi için
SQL> grant select any dictionary to dbuser;

-- Aşağıdaki şekilde de tanımlayabiliriz
SQL> grant select on v_$session to dbuser;


SQL> grant select_catalog_role to dbuser;

Oracle Snapshot Standby Oluşturma

Oracle’nin flashback teknolojisi sayesinde pyhsical standby olarak ayarlanmış db lerin read/write modda açmak mümkün. Bilindiği üzere pyhsical standby db leri en fazla read only modda açıp sadece select komutlarını çalıştırabilir konuma getirebiliriz. Bu durumda varolan data üzerinde herhangi bir değişikliğe izin verilmeyecektir.

Snapshot standby olarak ayarlanan bir physical standby db; read/write moda geçerek production makinesinin o andaki verileri üzerinde istenilen tüm islemleri yapmayı mümkün kılacaktır.

Örneğin t anında snyc olan bir pyhsical standby dbsi snapshot standby durumuna alındığında t1 anında production makinesinde yapılan bir değişiklik standby tarafında görünmeyecektir.

Önemli Not 1: Snapshot standby moduna alınacak db nin flashback özelliğinin açık olması gerekmektedir.

Önemli Not 2: Production db üzerinde snapshot özelliğini açmadan önce mutlaka db nin kapatılıp tekrar açılması gerekmektedir. Aksi taktirde oracle data tutarlılığı konusunda garanti vermemektedir.

Önemli Not 3: Bu özellik sadece Oracle Database Enterprise Edition sürümlerinde desteklenmektedir.

Önemlii Not 4: Flashback dosyalarının nereye oluşturulacağı kontrolü ve belirtilen dizinin doluluk oranının db_recovery_file_dest_size parametresinden düşük olduğundan mutlaka emin olun.

Pyhsical standby db nin flashback özelliği açık olmayabilir. Snapshot moduna alınacak db nin flashback özelliğinin açılmasının gözden kaçmaması adına aşağıdaki komutlara eklenmiştir.

SQL> select open_mode,database_role,flashback_on from v$database;

Result:
open_mode database_role flashback_on
MOUNT PHYSICAL STANDBY NO

Pyhsical standby dan snapshot standy moduna almak için aşamalar aşağıdaki şekildedir. Aşamaları sırayla uygulayarak pyhsical standby db yi read/write moda alabilirsiniz.

SQL> ALTER DATABASE RECOVER MANAGED STANDBY DATABASE CANCEL;
SQL> SHUTDOWN IMMEDIATE;
SQL> STARTUP MOUNT;
SQL> ALTER DATABASE FLASHBACK ON;
SQL> ALTER DATABASE CONVERT TO SNAPSHOT STANDBY;
SQL> ALTER DATABASE OPEN;

Aşamalar sırasıyla yapıldığı taktirde db read/write modda açılacaktır.

SQL> select open_mode,database_role,flashback_on from v$database;

Result:
open_mode database_role flashback_on
READ/WRITE SNAPSHOT STANDBY YES

Snapshot standby olarak ayarlanmış bir db nin tekrar physical standby’a çevirilmesi durumunda aşağıdaki adımları takip edebilirsiniz.

SQL> ALTER DATABASE CONVERT TO PHYSICAL STANDBY; 
SQL> SHUTDOWN IMMEDIATE;
SQL> STARTUP MOUNT;
SQL> ALTER DATABASE FLASHBACK OFF;
SQL> ALTER DATABASE RECOVER MANAGED STANDBY DATABASE DISCONNECT;
SQL> select open_mode,database_role,flashback_on from v$database;

Result:
open_mode database_role flashback_on
MOUNT PHYSICAL STANDBY NO

Tablespace İçerisindeki Objelerin Taşınması

Tablespace içerisinden büyük objelerin silinmesi durumunda disk üzerinde alan kazanımı olmadığı için tablespace’i recreate etme yoluna gidebiliriz. Bu durumda diskten alan kazanmanın yanında tablespace içerisinde bulunan objeler defragmente olup db üzerinde performans artışlarını beraberinde getirecektir. Tablespaceyi recreate etmenin aşamaları şu şekildedir:

  1. Yeni tablespace create etmek (bundan sonra TS_DATA_NEW olarak adlandırılacaktır)
  2. default_tablespace’i TS_DATA olan schemaların alter edilmesi ve gerekli quota ayarlarının yapılması.
  3. Varolan tablespace (TS_DATA olarak adlandırılacaktır) içerisindeki tüm objelerin move edilmesi.
    1. Tablo partition ve subpartitionların taşınması
    2. Lobların taşınması
    3. Lob partitionların taşınması
    4. İndexlerin taşınması
    5. Partitionlu indexlerin taşınması
  4. TS_DATA’yı offline konumuna almak
  5. Gerekli olması durumunda modify default attributes yapmak
  6. TS_DATA’yı drop etmek
  7. TS_DATA_NEW’i rename edip TS_DATA olarak değiştirmek.
  8. İndexlerin kontrolü

1. Create Tablespace

Yeni oluşturulacak TS_DATA_NEW tablespace için örnek komut aşağıdaki gibidir. Tabiki varolan tablespace üzerinde tanımlanan kota, yetki v.s gibi yetkilerin de varolan tablespace den alınıp yeni oluşturulan tablespaceye tanımlanması gerekmektedir. Aksi halde objeler taşındıktan sonra yetki problemleri nedeniyle başka sorunlara sebebiyet verebiliriz.

CREATE TABLESPACE TS_DATA_NEW 
DATAFILE '+DATA'
SIZE 31G;

2. Default Tablespace Değiştirmek

select username,default_tablespace,'alter user '||username||' default tablespace TS_DATA_NEW;' 
from dba_users
where default_tablespace='TS_DATA';

3.1. Tablo Partitionların Taşınması

Tablo partition ve sub partitionların taşınması için örnek komutaşağıdaki şekildedir. Burada klasik yöntem ile taşınacaktır. Sistemin kesintiye uğramaması için redef gibi taşıma yöntemlerini de tercih edebilirsiniz.

select 'ALTER TABLE '||table_owner||'.'||table_name||'  MOVE PARTITION '||partition_name||' TABLESPACE TS_DATA_NEW parallel 8;'
from dba_tab_partitions
where tablespace_name = 'TS_DATA';

Subpartitionların taşınması aşağıdaki şekilde gerçekleştirilebilir.

select 'ALTER TABLE '||table_owner||'.'||table_name||'  MOVE SUBPARTITION '||subpartition_name||' TABLESPACE TS_DATA_NEW parallel 8;' 
from dba_tab_subpartitions
where tablespace_name = 'TS_DATA';

3.2. Lob ve Lobparitionların Taşınması

Loblar aşağıdaki şekilde taşınabilir.

select owner,table_name,COLUMN_NAME,SEGMENT_NAME,TABLESPACE_NAME, 'alter table '||owner||'.'||table_name||' move lob ('||COLUMN_NAME||') store as '||SEGMENT_NAME||' (tablespace TS_DATA_NEW);' 
from dba_lobs
where tablespace_name ='TS_DATA';

Lob partitionlar aşağıdaki şekilde taşınabilir.

SELECT 'alter table ' || TABLE_OWNER || '.' || TABLE_NAME || ' move partition ' || partition_name || ' lob (' || COLUMN_NAME || ') store as  (tablespace TS_DATA_NEW);' 
FROM DBA_LOB_PARTITIONS
WHERE TABLESPACE_NAME = 'TS_DATA' ;

3.3. İndexlerin Taşınması

İndexler aşağıdaki şekilde taşınabilir.

select distinct 'ALTER INDEX '||owner||'.'||index_name||' REBUILD ONLINE TABLESPACE TS_DATA_NEW PARALLEL 16; ALTER INDEX '||owner||'.'||index_name||' NOPARALLEL;' 
from dba_indexes
where tablespace_name = 'TS_DATA';

İndex partitionları aşağıdaki şekilde taşınabilir.

select 'ALTER INDEX '||index_owner||'.'||index_name||' REBUILD PARTITION '||partition_name||' TABLESPACE TS_DATA_NEW  
ONLINE PARALLEL 16; ALTER INDEX '||index_owner||'.'||index_name||' NOPARALLEL;'
from dba_ind_partitions
where tablespace_name = 'TS_DATA';

4. Tablespace’i Offline durumuna getirmek

Aşağıdaki şekilde TS_DATA’yı offline konuma getirebiliriz. Burada normal şeçeneğini kullanmak mantıklı olabilir. Çünkü tablespace içerisinde unutulan bir obje olduğu durumlarda uyarı verecektir.

ALTER TABLESPACE TS_DATA OFFLINE NORMAL/IMMEDIATE;

5. Modify Default Attribute

Varolan TS_DATA tablespace’i drop ettikten sonra dba_part_tables ve dba_part_indexes viewlerinden taşınan objelerin ownerleri altında bulunan objelerin kontrolünün yapılması gerekmektedir. Tablespace drop edildikten sonra bu viewlerin içerisinde bulunan DEF_TABLESPACE_NAME kolonunda bulunan değerlerin bazınlar veya bir çoğu “_$deleted$25$3” gibi bir değere dönebilir.

Bunun bu şekilde değişmesinin nedeni partitionlu tablo ve indexlerin move edilmesi sonucunda metadata diyebileceğimiz adresin değişmemesinden kaynaklanmaktadır. Buradan bu kayıtları bulup aşağıdaki şekilde alter edilmesi gerekmektedir. Aksi halde insert gibi transactionlarda “ORA-00959: tablespace ‘_$deleted$25$3’ does not exist” gibi hatalar alabilirsiniz.

alter index SCHEMA.INDEX_NAME modify default attributes tablespace TBS_EXISTING;

alter table SCHEMA.TABLE_NAME modify default attributes tablespace TBS_EXISTING;

6. Drop Tablespace

Varolan tablespace aşağıdaki şekilde drop edilebilir.

DROP TABLESPACE TS_DATA INCLUDING CONTENTS AND DATAFILES;

7. Rename Tablespace

Varolan tablespace aşağıdaki şekilde rename edilebilir. Oracle’nin rename tablespace komutunu 11g ve üzeri sürümlerde desteklediğini unutmamak gerekir.

ALTER TABLESPACE TS_DATA_NEW RENAME TO TS_DATA;

Bunun çalıştırılmasının ardından 2. aşamada değiştirdiğimiz default tablespace değeri de otomatik değişecektir. Yine de her ihtimale karşı dba_users view’inden kontrol edilmesi daha sağlıklı olacaktır.

8. İndexlerin Kontrolü

Son olarak indexlerin kontrolünü yapmak gerekiyor. Aşağıdaki şekilde yapılabilir.

select  * from dba_indexes where tablespace_name = 'TS_DATA' and status <> 'USABLE'; 

select * from dba_ind_partitions where tablespace_name = 'TS_DATA' and status <> 'USABLE';

Objelerin Otomatik Taşınması

Aşağıdaki sql komutu ile tablespace içerisindeki tüm ojeleri kolayca taşıyabilirsiniz.

SELECT *
     FROM (SELECT 0 sira,
                  owner,
                  table_name,
                     'alter table ' || owner || '.' || table_name || ' modify default attributes tablespace  TBS_EXISTING ;'    move_sql
             FROM dba_part_tables
            WHERE DEF_TABLESPACE_NAME = '&&tbsname'
           UNION ALL
           SELECT 1 sira,
                  owner,
                  table_name,
                     'alter index ' || owner || '.' || index_name || ' modify default attributes tablespace  TBS_EXISTING ;'    move_sql
             FROM dba_part_indexes
            WHERE DEF_TABLESPACE_NAME = '&&tbsname'
           UNION ALL
           SELECT 2 sira,
                  owner,
                  table_name,
                     'ALTER TABLE ' || owner || '.' || table_name || '  MOVE TABLESPACE  TBS_EXISTING parallel 8;'    move_sql
             FROM dba_tables
            WHERE tablespace_name = '&&tbsname'
           UNION ALL
           SELECT 3 sira,
                  table_owner                                   owner,
                  table_name,
                     'ALTER TABLE ' || table_owner || '.' || table_name || '  MOVE PARTITION ' || partition_name || ' TABLESPACE  TBS_EXISTING parallel 8;'    move_sql
             FROM dba_tab_partitions
            WHERE tablespace_name = '&&tbsname'
           UNION ALL
           SELECT 4 sira,
                  owner,
                  table_name,
                     'alter table ' || owner || '.' || table_name || ' move lob (' || COLUMN_NAME || ') store as ' || SEGMENT_NAME || ' (tablespace  TBS_EXISTING );'    move_sql
             FROM dba_lobs
            WHERE tablespace_name = '&&tbsname'
           UNION ALL
           SELECT 5 sira,
                  owner,
                  table_name,
                     'ALTER INDEX ' || owner || '.' || index_name || ' REBUILD TABLESPACE  TBS_EXISTING PARALLEL 16;
  ALTER INDEX ' || owner  || '.' || index_name || ' NOPARALLEL;'    move_sql
             FROM dba_indexes
            WHERE tablespace_name = '&&tbsname'
           UNION ALL
           SELECT 6 sira,
                  i.owner,
                  i.table_name,
                     'ALTER INDEX ' || p.index_owner || '.' || p.index_name || ' REBUILD PARTITION ' || p.partition_name || ' TABLESPACE  TBS_EXISTING PARALLEL 16;
  ALTER INDEX ' || p.index_owner || '.' || p.index_name || ' NOPARALLEL;'
             FROM dba_ind_partitions p, dba_indexes i
            WHERE     p.tablespace_name = '&&tbsname'
                  AND p.index_owner = i.OWNER
                  AND p.index_name = i.index_name) aa
 ORDER BY 2, 3, 1;

Not: Bu yazı zaman içerisinde tekrar güncellenecektir.