Загрузка данных


WITH
stop_w AS (
    SELECT REPLACE(REPLACE(q'[ООО,ОАО,ПАО,ЗАО,АО,ОДО,ОСБ,АКБ,КБ,ГУП,МУП,ФГУП,ФУ,КОРПОРЕЙШН,СОФТ,ИНТЕРНЭШНЛ,МЭП,ХОЗ-ВО,РУФПС,
ПАЛАТА,ОАНО,УЗЕЛ,КОНЦЕРН,ФОНД,БАНК,КОМПАНИЯ,ПРЕДПРИЯТИЕ,ОБЩЕСТВО,СОЮЗ,ВКЛАДЫ,ГРАЖДАН,КОРПОРАЦИЯ,КОРПОРАЦИИ,
ИНСТИТУТ,ПОДРАЗДЕЛЕНИЕ,СЕТИ,ОТД,МЕДИА,КЛУБ,РАЙПО,УСИБ,ОБЩ-ВО,ЕДИНЕНИЕ,СКАНСКА,ОТДЕЛЕНИЕ,ПОСОЛЬСТВО,ПОДВОРЬЕ,
КОНСУЛЬТАЦИЯ,СОВЕТ,ФИЛИАЛ,ЗАВОД,ОБЛПО,ГРУППА,СЧЕТ,РЕДАКЦИЯ,НПФ,ГП,ЧАСТЬ,РПЦ,ПИИ,ЭКСПЕДИЦИЯ,ГОСТИНИЦА,СНГ,
ПАРТИЯ,БЮРО,ЕДИНИЦА,Ф-Л,ТУРИЗМ,УМП,ДОМ,ТОВАРИЩЕСТВО,ФИН,РУПС,МЭИ,ЖСК,ТСЖ,ВДПО,ГМБХ,МИНФИН,МИНИФИН,РОС-Я,АРТЕЛЬ,
СИСТЕМС,СОДЕКСО,З-Д,Ф-Т,ЛИМИТЕД,ГОС,НЕФТЕБАЗА,ВЭИ,КОМБИНАТ,КООПЕРАТИВ,ДИСТАНЦИЯ,ЖИЛЬЕ,ЛИЦО,ЛИЦА,ХОЗЯЙСТВО,
УЧАСТОК,ШАХТА,ИСТЕРН,ПССП,ОТКРЫТОЕ,ЗАКРЫТОЕ,АКЦИОНЕРНОЕ,ГОРОД,ГОРОДА]', CHR(10)), CHR(13)) AS s
    FROM DUAL
),
stop_p AS (
    SELECT REPLACE(REPLACE(q'[НЕВЫЯСНЕ,ПАРТНЕР,ОБЪЕДИ,АДМИНИСТРА,УПРАВЛЕНИ,ДЕПАРТАМЕНТ,КОМИТЕТ,МИНИСТЕРСТВ,ПОЛИТИЧ,ПРЕДСТАВИТ,
ФЕДЕРАЛЬН,ГОСУДАРСТВЕНН,МЕЖДУНАРОДН,ОРГАНИЗАЦИ,ПРОИЗВОДСТВЕН,РАЙОН,ПТИЦЕФАБРИК,ФАБРИК,ЗАКРЫТ,ОТКРЫТ,АКЦИОНЕРН,
МОСКОВСК,МАШИНОСТРО,ГОРОДСК,СЕВЕРН,СЕВЕРО,ЮЖНО-,ЦЕНТР,ФИРМ,ГЛАВН,УПРАВ,ОБЩЕСТ,РОССИЙСК,КОМПАНИ]', CHR(10)), CHR(13)) AS s
    FROM DUAL
),
stop_wd AS (
    SELECT /*+ MATERIALIZE */ ' ' || TRIM(REGEXP_SUBSTR(s, '[^,]+', 1, LEVEL)) || ' ' AS W
    FROM stop_w
    CONNECT BY LEVEL <= REGEXP_COUNT(s, ',') + 1
),
stop_pf AS (
    SELECT /*+ MATERIALIZE */ ' ' || TRIM(REGEXP_SUBSTR(s, '[^,]+', 1, LEVEL)) AS W
    FROM stop_p
    CONNECT BY LEVEL <= REGEXP_COUNT(s, ',') + 1
),
src AS (
    SELECT DISTINCT NAIMEN
    FROM SH.UCH_VSE
    WHERE NAIMEN IS NOT NULL
    -- AND ROWNUM <= 20000
),
t AS (
    SELECT NAIMEN,
           REGEXP_SUBSTR(
               REGEXP_REPLACE(REGEXP_REPLACE(TRIM(NAIMEN), '[[:space:]]+', ' '),
                   '^((КПП|ПБОЮЛ|ИП|ЧП|ФЛ|ИНДИВИДУАЛЬН[А-ЯЁ]*|ПРЕДПРИНИМАТЕЛЬ[А-ЯЁ]*|[0-9]+) )+',
                   '', 1, 1, 'i'),
               '^[А-ЯЁ][-А-ЯЁ]+'
               || '( [А-ЯЁ]\.? ?[А-ЯЁ]\.'
               || '| [А-ЯЁ][-А-ЯЁ]+( [А-ЯЁ][-А-ЯЁ]+)?'
               ||   '( (ОГЛЫ|ОГЛУ|КЫЗЫ|УГЛИ|УУЛУ|ГИРЕЙ|ХАН|БЕК|БАЙ))?)',
               1, 1, 'i') AS FIO
    FROM src
),
shape AS (
    SELECT NAIMEN, FIO
    FROM t
    WHERE FIO IS NOT NULL
      AND LENGTH(FIO) BETWEEN 6 AND 40
      AND LENGTH(REGEXP_SUBSTR(FIO, '^[^ ]+')) > 3
      AND REGEXP_LIKE(UPPER(REGEXP_SUBSTR(FIO, '^[^ ]+')),
          '(ОВ|ЕВ|ЁВ|ИН|ЫН|ИЙ|ЫЙ|ОЙ|ЯН|ЯНЦ|ЕЦ|ЕНОК|ИЧ|УК|ЮК|АК|ЯК|ИК|ХАН|БЕК|БАЙ|[АЕИОУЮЯ])$')
),
tok AS (
    SELECT FIO,
           ' ' || TRIM(REGEXP_REPLACE(UPPER(NAIMEN), '[^А-ЯЁ0-9-]+', ' ')) || ' ' AS TOK
    FROM shape
),
f AS (
    SELECT DISTINCT FIO
    FROM tok k
    WHERE NOT EXISTS (SELECT 1 FROM stop_wd s WHERE INSTR(k.TOK, s.W) > 0)
      AND NOT EXISTS (SELECT 1 FROM stop_pf s WHERE INSTR(k.TOK, s.W) > 0)
)
SELECT COUNT(*) OVER () AS Всего_строк, FIO
FROM f
ORDER BY FIO;