WITH
stop_w AS (
SELECT REPLACE(REPLACE(q'[ООО,ОАО,ПАО,ЗАО,АО,ОДО,ОСБ,АКБ,КБ,ГУП,МУП,ФГУП,ФУ,КОРПОРЕЙШН,СОФТ,ИНТЕРНЭШНЛ,МЭП,ХОЗ-ВО,РУФПС,
ПАЛАТА,ОАНО,УЗЕЛ,КОНЦЕРН,ФОНД,БАНК,КОМПАНИЯ,ПРЕДПРИЯТИЕ,ОБЩЕСТВО,СОЮЗ,ВКЛАДЫ,ГРАЖДАН,КОРПОРАЦИЯ,КОРПОРАЦИИ,
ИНСТИТУТ,ПОДРАЗДЕЛЕНИЕ,СЕТИ,ОТД,МЕДИА,КЛУБ,РАЙПО,УСИБ,ОБЩ-ВО,ЕДИНЕНИЕ,СКАНСКА,ОТДЕЛЕНИЕ,ПОСОЛЬСТВО,ПОДВОРЬЕ,
КОНСУЛЬТАЦИЯ,СОВЕТ,ФИЛИАЛ,ЗАВОД,ОБЛПО,ГРУППА,СЧЕТ,РЕДАКЦИЯ,НПФ,ГП,ЧАСТЬ,РПЦ,ПИИ,ЭКСПЕДИЦИЯ,ГОСТИНИЦА,СНГ,
ПАРТИЯ,БЮРО,ЕДИНИЦА,Ф-Л,ТУРИЗМ,УМП,ДОМ,ТОВАРИЩЕСТВО,ФИН,РУПС,МЭИ,ЖСК,ТСЖ,ВДПО,ГМБХ,МИНФИН,МИНИФИН,РОС-Я,АРТЕЛЬ,
СИСТЕМС,СОДЕКСО,З-Д,Ф-Т,ЛИМИТЕД,ГОС,НЕФТЕБАЗА,ВЭИ,КОМБИНАТ,КООПЕРАТИВ,ДИСТАНЦИЯ,ЖИЛЬЕ,ЛИЦО,ЛИЦА,ХОЗЯЙСТВО,
УЧАСТОК,ШАХТА,ИСТЕРН,ПССП,ОТКРЫТОЕ,ЗАКРЫТОЕ,АКЦИОНЕРНОЕ,ГОРОД,ГОРОДА]', CHR(10)), CHR(13)) AS s
FROM DUAL
),
stop_p AS (
SELECT REPLACE(REPLACE(q'[НЕВЫЯСНЕ,ПАРТНЕР,ОБЪЕДИ,АДМИНИСТРА,УПРАВЛЕНИ,ДЕПАРТАМЕНТ,КОМИТЕТ,МИНИСТЕРСТВ,ПОЛИТИЧ,ПРЕДСТАВИТ,
ФЕДЕРАЛЬН,ГОСУДАРСТВЕНН,МЕЖДУНАРОДН,ОРГАНИЗАЦИ,ПРОИЗВОДСТВЕН,РАЙОН,ПТИЦЕФАБРИК,ФАБРИК,ЗАКРЫТ,ОТКРЫТ,АКЦИОНЕРН,
МОСКОВСК,МАШИНОСТРО,ГОРОДСК,СЕВЕРН,СЕВЕРО,ЮЖНО-,ЦЕНТР,ФИРМ,ГЛАВН,УПРАВ,ОБЩЕСТ,РОССИЙСК,КОМПАНИ]', CHR(10)), CHR(13)) AS s
FROM DUAL
),
stop_wd AS (
SELECT /*+ MATERIALIZE */ ' ' || TRIM(REGEXP_SUBSTR(s, '[^,]+', 1, LEVEL)) || ' ' AS W
FROM stop_w
CONNECT BY LEVEL <= REGEXP_COUNT(s, ',') + 1
),
stop_pf AS (
SELECT /*+ MATERIALIZE */ ' ' || TRIM(REGEXP_SUBSTR(s, '[^,]+', 1, LEVEL)) AS W
FROM stop_p
CONNECT BY LEVEL <= REGEXP_COUNT(s, ',') + 1
),
src AS (
SELECT DISTINCT NAIMEN
FROM SH.UCH_VSE
WHERE NAIMEN IS NOT NULL
-- AND ROWNUM <= 20000
),
t AS (
SELECT NAIMEN,
REGEXP_SUBSTR(
REGEXP_REPLACE(REGEXP_REPLACE(TRIM(NAIMEN), '[[:space:]]+', ' '),
'^((КПП|ПБОЮЛ|ИП|ЧП|ФЛ|ИНДИВИДУАЛЬН[А-ЯЁ]*|ПРЕДПРИНИМАТЕЛЬ[А-ЯЁ]*|[0-9]+) )+',
'', 1, 1, 'i'),
'^[А-ЯЁ][-А-ЯЁ]+'
|| '( [А-ЯЁ]\.? ?[А-ЯЁ]\.'
|| '| [А-ЯЁ][-А-ЯЁ]+( [А-ЯЁ][-А-ЯЁ]+)?'
|| '( (ОГЛЫ|ОГЛУ|КЫЗЫ|УГЛИ|УУЛУ|ГИРЕЙ|ХАН|БЕК|БАЙ))?)',
1, 1, 'i') AS FIO
FROM src
),
shape AS (
SELECT NAIMEN, FIO
FROM t
WHERE FIO IS NOT NULL
AND LENGTH(FIO) BETWEEN 6 AND 40
AND LENGTH(REGEXP_SUBSTR(FIO, '^[^ ]+')) > 3
AND REGEXP_LIKE(UPPER(REGEXP_SUBSTR(FIO, '^[^ ]+')),
'(ОВ|ЕВ|ЁВ|ИН|ЫН|ИЙ|ЫЙ|ОЙ|ЯН|ЯНЦ|ЕЦ|ЕНОК|ИЧ|УК|ЮК|АК|ЯК|ИК|ХАН|БЕК|БАЙ|[АЕИОУЮЯ])$')
),
tok AS (
SELECT FIO,
' ' || TRIM(REGEXP_REPLACE(UPPER(NAIMEN), '[^А-ЯЁ0-9-]+', ' ')) || ' ' AS TOK
FROM shape
),
f AS (
SELECT DISTINCT FIO
FROM tok k
WHERE NOT EXISTS (SELECT 1 FROM stop_wd s WHERE INSTR(k.TOK, s.W) > 0)
AND NOT EXISTS (SELECT 1 FROM stop_pf s WHERE INSTR(k.TOK, s.W) > 0)
)
SELECT COUNT(*) OVER () AS Всего_строк, FIO
FROM f
ORDER BY FIO;