Локалдык AI менен финансылык аудит

Маалымат сыртка чыкпастан документтердин чоң көлөмүн аудиттөө: которуу, анонимдештирүү, локалдык моделдерде RAG талдоо

Корпоративдик топтун каражаттарын максатсыз пайдаланууну аныктоого арналган долбоор: документтер жыйындысы (Markdown форматында болжол менен 3.9 ГБ) локалдуу же корголгон серверлерде иштетилет. Иштин жүрүшүндө LLM жана GPU инфраструктурасын изилдөө, бир H200 GPU картасында Qwen2.5-72B менен «сапат жана убакыт» боюнча жыйынтыктоочу сценарий жана эки деңгээлдүү эскалация (кичине модель шектүү учурларды бөлүп алат, чоң модель майда-чүйдөсүнө чейин талдайт), чыгымдарды баалоо жана жол картасы даярдалды. Markdown форматына которуу, жеке маалыматтарды кайтарымдуу анонимдештирүү жана Milvus базасында RAG талдоо үчүн куралдар түзүлдү; жыйынтыктоочу отчет менен сыноо талдоосу жүргүзүлдү.

Тапшырма

Акча кайда, качан жана эмне үчүн сарпталганын аныктоо жана ошол эле учурда купуя маалыматты тышкы кызматтарга бербөө.

Ичинде эмне бар

• PDF, DOCX, XLSX жана башка форматтарды Markdown форматына которуу
• Кайтарымдуу анонимдештирүү (Presidio, spaCy NER, Faker): аты-жөндөр, уюмдар, телефон номерлери, электрондук почталар, даталар, суммалар, INN, SNILS, OGRN, банк эсептери, карталар, IBAN; чыныгыдай алмаштыруу жана плейсхолдер режимдери, даталарды жылдыруу, суммаларды масштабдоо, деанонимдештирүү үчүн дал келүү таблицасы
• Байланышкан документтерди (келишимдер, эсептер, төлөм тапшырмалары, каттар, аткарылган иштер актылары) RAG менен талдоо жана аномалияларды аныктоо эрежелери бар объекттер менен транзакциялар графы
• Тышкы API колдонбой иштөө үчүн air-gapped режими; Markdown, JSON жана Excel форматындагы отчеттор

Машина котормосу — редакцияланып жатат.