Рефакторинг дага ods userinfo

[VladislavVoskoboinik]

сейчас даг выглядит как спагетикод, 150 инсертов. можно обернуть в функцию
вычитать скрипт, думаю там еще много мест для оптимизации

[VladislavVoskoboinik]

ps на данный момент еще не смержен

[VladislavVoskoboinik]

контекст по задаче:

в stg_union_member лежат данные о членах профсоюза
из stg_userdata данные о юзерах приложения

в dwh_userinfo - мэтч этих двух табличек по полям имя, фамилия, номер студенческого билета
то есть юзеры, которые являеются членами профсоюза. это необходимо чтобы на основе смэтченных данных выдавать доступ к сервису проката

as is: скрипт мэтчинга - спагеттикод, но работает)

при мэтченге теряется только 1 юзер - в неправильном порядке лежат фио в stg_userdata(это проблема lk profcom msu - именно оттуда мы получаем эти данные)

to do:

1. отрефакторить код, можно создать фукнцию в postgres, которая будет заменять кучу текущих инсертов

2. продумать, оптимизировать и реализовать логику выбора данных: тк при мэтченге некоторые поля могут дублироваться, а могут и разниться, надо придумать приоритезацию источников (например в stg userdata будет телефон +79991231212, а в stg_union_member 81111111111, кому верить???)
   сейчас чтобы не терять инфу о юзере это все конкатенируется в одну строку, для примера выше:
   "+79991231212,81111111111"

возможно не для всех полей такая логика оправдана. предложенное решение данной проблемы вынести на обсуждение

3. изучить текущие данные. обосновать/отвергнуть идею необходимости нормализации данных. возможно на ods уровнях надо было избавляться от капса, лишних символов и тд

4. *задача которую можно завести на дата инженеров или покопаться самому со звездочкой:

   решение проблемы фио
   сейчас, если юзер не смэтчился, админ ренатала всегда может добавить его руками -> проблема не крит. но хотелось бы автоматизированного решения -> можно поднять обсуждение, как на этапе валидации (привет dq) полученных из апишки данных понимать, где имя, где фамилия и класть в нужное поле (можно посмотреть аналоги каких нибудь либ типо pymorphy, но для фио, уверен че нить такое есть)

[VladislavVoskoboinik]

ps на данный момент еще не смержен

смержен)