Potrebujem vytvoriť stabilné identifikátory pre reťazce, aby som mohol odstrániť duplicity záznamov bez uchovávania pôvodných hodnôt.

Táto funkcia generuje stabilné identifikátory zo vstupných reťazcov, čo vám umožňuje rozpoznať a odstrániť duplicitné hodnoty bez ukladania pôvodného textu. Pomáha znižovať uchovávanie citlivých údajov pri zachovaní konzistentnej referencie na párovanie a zoskupovanie.

Táto funkcia vytvára stabilný identifikátor pre daný reťazec, takže rovnaký vstup vždy vedie k rovnakému výstupnému identifikátoru. Je navrhnutá na podporu pracovných postupov odstraňovania duplicít, kde chcete detegovať opakujúce sa hodnoty bez ukladania nespracovaných reťazcov. Identifikátor môžete použiť ako náhradný kľúč pri vkladaní, zlučovaní alebo porovnávaní záznamov naprieč behmi alebo systémami. Ukladaním iba identifikátora môžete minimalizovať vystavenie citlivých alebo proprietárnych hodnôt pri zachovaní schopnosti priradiť identické vstupy. Identifikátory možno použiť na zoskupovanie analytiky, vynucovanie obmedzení jedinečnosti alebo zabránenie duplicitným odoslaniam. Podporuje tiež potrubia na normalizáciu údajov, kde sa nespracované polia pred uložením transformujú na konzistentné referencie. Bežné prípady použitia zahŕňajú odstraňovanie duplicít e-mailov, používateľských mien, ID zariadení, SKU produktov alebo štítkov vo voľnom texte, pričom sa vyhnete uchovávaniu nespracovaných hodnôt. Funkcia je obzvlášť užitočná v prostrediach citlivých na súkromie, kde je ukladanie pôvodných reťazcov nežiaduce. Dá sa integrovať do logiky ingestovania, ETL a aplikačnej vrstvy všade tam, kde sa vyžaduje konzistentné párovanie.