Alternatives à la concaténation de chaînes ou à la procédure pour empêcher la répétition du code de requête SQL?

Avertissement: veuillez me supporter en tant que personne qui n'utilise les bases de données qu'une infime fraction de son temps de travail. (La plupart du temps, je fais de la programmation C ++ dans mon travail, mais tous les mois impairs, je dois rechercher / corriger / ajouter quelque chose dans une base de données Oracle.)

J'ai eu à plusieurs reprises besoin d'écrire des requêtes SQL complexes, à la fois pour les requêtes ad hoc et pour les requêtes intégrées dans les applications, où de grandes parties des requêtes venaient de répéter du "code".

L'écriture de telles abominations dans un langage de programmation traditionnel vous causerait de graves problèmes, mais je ( I ) n'ai pas encore pu trouver de technique décente pour empêcher la répétition du code de requête SQL.

Edit: 1er, je tiens à remercier les répondeurs qui ont apporté d'excellentes améliorations à mon exemple d' origine . Cependant, cette question ne concerne pas mon exemple. Il s'agit de répétitivité dans les requêtes SQL. En tant que telles, les réponses ( JackP , Leigh ) font jusqu'à présent un excellent travail pour montrer que vous pouvez réduire la répétitivité en écrivant de meilleures requêtes . Cependant, même alors, vous faites face à une répétitivité qui ne peut apparemment pas être supprimée: cela m'a toujours harcelé avec SQL. Dans les langages de programmation "traditionnels", je peux refactoriser beaucoup pour minimiser la répétitivité dans le code, mais avec SQL, il semble qu'il n'y ait pas d'outils (?) Qui permettent cela, sauf pour écrire une déclaration moins répétitive pour commencer.

Notez que j'ai à nouveau supprimé la balise Oracle, car je serais vraiment intéressé s'il n'y a pas de base de données ou de langage de script qui permet quelque chose de plus.

Voici un tel joyau que j'ai bricolé ensemble aujourd'hui. Il signale essentiellement la différence dans un ensemble de colonnes d'une seule table. Veuillez parcourir le code suivant, en particulier. la grande requête à la fin. Je vais continuer ci-dessous.

--
-- Create Table to test queries
--
CREATE TABLE TEST_ATTRIBS (
id NUMBER PRIMARY KEY,
name  VARCHAR2(300) UNIQUE,
attr1 VARCHAR2(2000),
attr2 VARCHAR2(2000),
attr3 INTEGER,
attr4 NUMBER,
attr5 VARCHAR2(2000)
);

--
-- insert some test data
--
insert into TEST_ATTRIBS values ( 1, 'Alfred',   'a', 'Foobar', 33, 44, 'e');
insert into TEST_ATTRIBS values ( 2, 'Batman',   'b', 'Foobar', 66, 44, 'e');
insert into TEST_ATTRIBS values ( 3, 'Chris',    'c', 'Foobar', 99, 44, 'e');
insert into TEST_ATTRIBS values ( 4, 'Dorothee', 'd', 'Foobar', 33, 44, 'e');
insert into TEST_ATTRIBS values ( 5, 'Emilia',   'e', 'Barfoo', 66, 44, 'e');
insert into TEST_ATTRIBS values ( 6, 'Francis',  'f', 'Barfoo', 99, 44, 'e');
insert into TEST_ATTRIBS values ( 7, 'Gustav',   'g', 'Foobar', 33, 44, 'e');
insert into TEST_ATTRIBS values ( 8, 'Homer',    'h', 'Foobar', 66, 44, 'e');
insert into TEST_ATTRIBS values ( 9, 'Ingrid',   'i', 'Foobar', 99, 44, 'e');
insert into TEST_ATTRIBS values (10, 'Jason',    'j', 'Bob',    33, 44, 'e');
insert into TEST_ATTRIBS values (12, 'Konrad',   'k', 'Bob',    66, 44, 'e');
insert into TEST_ATTRIBS values (13, 'Lucas',    'l', 'Foobar', 99, 44, 'e');

insert into TEST_ATTRIBS values (14, 'DUP_Alfred',   'a', 'FOOBAR', 33, 44, 'e');
insert into TEST_ATTRIBS values (15, 'DUP_Chris',    'c', 'Foobar', 66, 44, 'e');
insert into TEST_ATTRIBS values (16, 'DUP_Dorothee', 'd', 'Foobar', 99, 44, 'e');
insert into TEST_ATTRIBS values (17, 'DUP_Gustav',   'X', 'Foobar', 33, 44, 'e');
insert into TEST_ATTRIBS values (18, 'DUP_Homer',    'h', 'Foobar', 66, 44, 'e');
insert into TEST_ATTRIBS values (19, 'DUP_Ingrid',   'Y', 'foo',    99, 44, 'e');

insert into TEST_ATTRIBS values (20, 'Martha',   'm', 'Bob',    33, 88, 'f');

-- Create comparison view
CREATE OR REPLACE VIEW TA_SELFCMP as
select 
t1.id as id_1, t2.id as id_2, t1.name as name, t2.name as name_dup,
t1.attr1 as attr1_1, t1.attr2 as attr2_1, t1.attr3 as attr3_1, t1.attr4 as attr4_1, t1.attr5 as attr5_1,
t2.attr1 as attr1_2, t2.attr2 as attr2_2, t2.attr3 as attr3_2, t2.attr4 as attr4_2, t2.attr5 as attr5_2
from TEST_ATTRIBS t1, TEST_ATTRIBS t2
where t1.id <> t2.id
and t1.name <> t2.name
and t1.name = REPLACE(t2.name, 'DUP_', '')
;

-- NOTE THIS PIECE OF HORRIBLE CODE REPETITION --
-- Create comparison report
-- compare 1st attribute
select 'attr1' as Different,
id_1, id_2, name, name_dup,
CAST(attr1_1 AS VARCHAR2(2000)) as Val1, CAST(attr1_2 AS VARCHAR2(2000)) as Val2
from TA_SELFCMP
where attr1_1 <> attr1_2
or (attr1_1 is null and attr1_2 is not null)
or (attr1_1 is not null and attr1_2 is null)
union
-- compare 2nd attribute
select 'attr2' as Different,
id_1, id_2, name, name_dup,
CAST(attr2_1 AS VARCHAR2(2000)) as Val1, CAST(attr2_2 AS VARCHAR2(2000)) as Val2
from TA_SELFCMP
where attr2_1 <> attr2_2
or (attr2_1 is null and attr2_2 is not null)
or (attr2_1 is not null and attr2_2 is null)
union
-- compare 3rd attribute
select 'attr3' as Different,
id_1, id_2, name, name_dup,
CAST(attr3_1 AS VARCHAR2(2000)) as Val1, CAST(attr3_2 AS VARCHAR2(2000)) as Val2
from TA_SELFCMP
where attr3_1 <> attr3_2
or (attr3_1 is null and attr3_2 is not null)
or (attr3_1 is not null and attr3_2 is null)
union
-- compare 4th attribute
select 'attr4' as Different,
id_1, id_2, name, name_dup,
CAST(attr4_1 AS VARCHAR2(2000)) as Val1, CAST(attr4_2 AS VARCHAR2(2000)) as Val2
from TA_SELFCMP
where attr4_1 <> attr4_2
or (attr4_1 is null and attr4_2 is not null)
or (attr4_1 is not null and attr4_2 is null)
union
-- compare 5th attribute
select 'attr5' as Different,
id_1, id_2, name, name_dup,
CAST(attr5_1 AS VARCHAR2(2000)) as Val1, CAST(attr5_2 AS VARCHAR2(2000)) as Val2
from TA_SELFCMP
where attr5_1 <> attr5_2
or (attr5_1 is null and attr5_2 is not null)
or (attr5_1 is not null and attr5_2 is null)
;

Comme vous pouvez le voir, la requête pour générer un "rapport de différence" utilise le même bloc SQL SELECT 5 fois (pourrait facilement être 42 fois!). Cela me semble absolument mort cérébral (j'ai le droit de le dire, après tout, j'ai écrit le code), mais je n'ai pas pu trouver de bonne solution à cela.

• Si cela devait être une requête dans un code d'application réel, je pourrais écrire une fonction qui concocte cette requête sous forme de chaîne , puis j'exécuterais la requête sous forme de chaîne.

  • -> La construction de chaînes est horrible et horrible à tester et à entretenir. Si le "code d'application" est écrit dans un langage tel que PL / SQL, il se sent tellement mal qu'il fait mal.

• Alternativement, s'il est utilisé à partir de PL / SQL ou similaire, je suppose qu'il existe des moyens procéduraux pour rendre cette requête plus maintenable.

  • -> Dérouler quelque chose qui peut être exprimé en une seule requête en étapes procédurales juste pour éviter la répétition du code semble également mal.

• Si cette requête était nécessaire en tant que vue dans la base de données, alors - pour autant que je comprends - il n'y aurait pas d'autre moyen que de maintenir réellement la définition de la vue comme je l'ai posté ci-dessus. (!!?)

  • -> J'ai en fait dû faire un peu de maintenance sur une définition de vue de 2 pages une fois que ce n'était pas loin de la déclaration ci-dessus. De toute évidence, changer quoi que ce soit dans cette vue nécessitait une recherche textuelle regexp sur la définition de la vue pour savoir si la même sous-instruction avait été utilisée dans une autre ligne et si elle devait être modifiée à cet endroit.

Donc, comme le titre l'indique - quelles techniques existe-t-il pour éviter d'avoir à écrire de telles abominations?

Vous êtes trop modeste - votre SQL est bien écrit et concis compte tenu de la tâche que vous entreprenez. Quelques conseils:

• t1.name <> t2.nameest toujours vrai si t1.name = REPLACE(t2.name, 'DUP_', '')- vous pouvez laisser tomber l'ancien
• généralement vous le souhaitez union all. unionsignifie union allalors supprimer les doublons. Cela peut ne faire aucune différence dans ce cas, mais toujours utiliser union allest une bonne habitude, sauf si vous souhaitez explicitement supprimer les doublons.

• si vous êtes prêt à ce que les comparaisons numériques se produisent après la conversion en varchar, les éléments suivants peuvent être utiles:

  create view test_attribs_cast as 
  select id, name, attr1, attr2, cast(attr3 as varchar(2000)) as attr3, 
         cast(attr4 as varchar(2000)) as attr4, attr5
  from test_attribs;
  
  create view test_attribs_unpivot as 
  select id, name, 1 as attr#, attr1 as attr from test_attribs_cast union all
  select id, name, 2, attr2 from test_attribs_cast union all
  select id, name, 3, attr3 from test_attribs_cast union all
  select id, name, 4, attr4 from test_attribs_cast union all
  select id, name, 5, attr5 from test_attribs_cast;
  
  select 'attr'||t1.attr# as different, t1.id as id_1, t2.id as id_2, t1.name, 
         t2.name as name_dup, t1.attr as val1, t2.attr as val2
  from test_attribs_unpivot t1 join test_attribs_unpivot t2 on(
         t1.id<>t2.id and 
         t1.name = replace(t2.name, 'DUP_', '') and 
         t1.attr#=t2.attr# )
  where t1.attr<>t2.attr or (t1.attr is null and t2.attr is not null)
        or (t1.attr is not null and t2.attr is null);

  la deuxième vue est une sorte d' unpivotopération - si vous êtes sur au moins 11g vous pouvez le faire de manière plus concise avec la unpivotclause - voir ici pour un exemple

• Je dis que ne suivez pas la procédure si vous pouvez le faire en SQL, mais ...
• Le SQL dynamique mérite probablement d'être pris en considération malgré les problèmes que vous mentionnez lors des tests et de la maintenance

--ÉDITER--

Pour répondre au côté plus général de la question, il existe des techniques pour réduire la répétition en SQL, notamment:

• Vues - vous le savez :)
• Expressions de table communes (voir ici par exemple)
• fonctionnalités individuelles de la base de données telles que decode(voir la réponse de Leigh pour savoir comment cela peut réduire la répétition), fonctions de fenêtre et requêtes hiérarchiques / récursives pour n'en nommer que quelques-unes

Mais vous ne pouvez pas introduire directement des idées OO dans le monde SQL - dans de nombreux cas, la répétition est très bien si la requête est lisible et bien écrite, et il serait imprudent de recourir au SQL dynamique (par exemple) juste pour éviter la répétition.

La dernière requête incluant la modification suggérée de Leigh et un CTE au lieu d'une vue pourrait ressembler à ceci:

with t as ( select id, name, attr#, 
                   decode(attr#,1,attr1,2,attr2,3,attr3,4,attr4,attr5) attr
            from test_attribs
                 cross join (select rownum attr# from dual connect by rownum<=5))
select 'attr'||t1.attr# as different, t1.id as id_1, t2.id as id_2, t1.name, 
       t2.name as name_dup, t1.attr as val1, t2.attr as val2
from t t1 join test_attribs_unpivot t2 
               on( t1.id<>t2.id and 
                   t1.name = replace(t2.name, 'DUP_', '') and 
                   t1.attr#=t2.attr# )
where t1.attr<>t2.attr or (t1.attr is null and t2.attr is not null)
      or (t1.attr is not null and t2.attr is null);

Voici une alternative à la vue test_attribs_unpivot fournie par JackPDouglas ⁽⁺¹⁾ qui fonctionne dans les versions antérieures à 11g et fait moins d'analyses de table complètes:

CREATE OR REPLACE VIEW test_attribs_unpivot AS
   SELECT ID, Name, MyRow Attr#, CAST(
      DECODE(MyRow,1,attr1,2,attr2,3,attr3,4,attr4,attr5) AS VARCHAR2(2000)) attr
   FROM TEST_ATTRIBS 
   CROSS JOIN (SELECT level MyRow FROM dual connect by level<=5);

Sa requête finale peut être utilisée inchangée avec cette vue.

Je rencontre souvent le même problème pour comparer deux versions d'une table pour des lignes nouvelles, supprimées ou modifiées. Il y a quelques mois, j'ai publié une solution pour SQL Server utilisant PowerShell ici .

Pour l'adapter à votre problème, je crée d'abord deux vues pour séparer l'original des lignes en double

CREATE OR REPLACE VIEW V1_TEST_ATTRIBS AS 
select * from TEST_ATTRIBS where SUBSTR(name, 1, 4) <> 'DUP_'; 

CREATE OR REPLACE VIEW V2_TEST_ATTRIBS AS 
select id, REPLACE(name, 'DUP_', '') name, attr1, attr2, attr3, attr4, attr5 from TEST_ATTRIBS where SUBSTR(name, 1, 4) = 'DUP_'; 

puis je vérifie les changements avec

SELECT 1 SRC, NAME, ATTR1, ATTR2, ATTR3, ATTR4, ATTR5 FROM V1_TEST_ATTRIBS
MINUS
Select 1 SRC, NAME, ATTR1, ATTR2, ATTR3, ATTR4, ATTR5 from V2_TEST_ATTRIBS
UNION
SELECT 2 SRC, NAME, ATTR1, ATTR2, ATTR3, ATTR4, ATTR5 FROM V2_TEST_ATTRIBS
MINUS
SELECT 2 SRC ,NAME, ATTR1, ATTR2, ATTR3, ATTR4, ATTR5 FROM V1_TEST_ATTRIBS
ORDER BY NAME, SRC;

De là, je peux trouver vos identifiants d'origine

Select NVL(v1.id, v2.id) id,  t.name, t.attr1, t.attr2, t.attr3, t.attr4, t.attr5 from
(
SELECT 1 SRC, NAME, ATTR1, ATTR2, ATTR3, ATTR4, ATTR5 FROM V1_TEST_ATTRIBS
MINUS
Select 1 SRC, NAME, ATTR1, ATTR2, ATTR3, ATTR4, ATTR5 from V2_TEST_ATTRIBS
UNION
SELECT 2 SRC, NAME, ATTR1, ATTR2, ATTR3, ATTR4, ATTR5 FROM V2_TEST_ATTRIBS
MINUS
Select 2 SRC ,NAME, ATTR1, ATTR2, ATTR3, ATTR4, ATTR5 from V1_TEST_ATTRIBS
) t
LEFT JOIN V1_TEST_ATTRIBS V1 ON T.NAME = V1.NAME AND T.SRC = 1
LEFT JOIN V2_TEST_ATTRIBS V2 ON T.NAME = V2.NAME AND T.SRC = 2
ORDER by NAME, SRC;

BTW: MINUS et UNION et GROUP BY traitent différents NULL comme égaux. L'utilisation de ces opérations rend les requêtes plus élégantes.

Astuce pour les utilisateurs de SQL Server: MINUS y est nommé SAUF, mais fonctionne de manière similaire.