DI sistema · metalurgija, norminė dokumentacija
GOST grafas ir RAG apie plieno reikalavimus
EVRAZ · 2025 · DI sistema · Python 3.11, LangChain
Nuo PDF standartų rinkinio iki susietos žinių bazės: nuorodos tarp GOST, paieška su šaltiniais, plieno klasės reikalavimų eksportas į JSON
Prototipų serija EVRAZ, kurio GOST biblioteka yra PDF rinkinys be nuorodų tarp dokumentų. Standartai (PDF/DOC) konvertuojami į Markdown su lentelėmis ir paveikslėliais, nuorodos į kitus GOST (norminės ir informacinės) randamos automatiškai, „vaikiniai“ standartai atsisiunčiami, o ant viršaus sukuriama RAG paieška su šaltiniais ir struktūrizuotų duomenų išgavimas. Bandomoji užduotis – stiprumo klasė C235 pagal GOST 27772-2021: cheminė sudėtis ir mechaninės savybės eksportuojamos į JSON. Per savaitę (2025 m. spalio 30 d. – lapkričio 6 d.) lygiagrečiai išbandyti penki įgyvendinimo variantai.
Užduotis
Nuorodos į kitus GOST dokumentuose nėra spustelėjamos. Norėdamas surinkti visus C235 plieno reikalavimus, specialistas turi rankomis rasti pagrindinį standartą, o tada po vieną peržiūrėti kiekvieną jame minimą standartą – tai užtrunka ir leidžia kai ką praleisti.
Kas viduje
- GOST konvertavimas iš DOC/DOCX/PDF į Markdown, lenteles (XLSX) ir paveikslėlius
- Automatinis nuorodų išgavimas su klasifikavimu į „norminės / informacinės“; GOST 27772-2021 rastos 95 unikalios nuorodos (71 norminė, 24 informacinės) ir įterptos 232 spustelėjamos hipernuorodos
- Automatinė „vaikinių“ GOST paieška ir atsisiuntimas (allgosts.ru, atsarginiu variantu – Yandex XML API): korpuse yra 60 .doc dokumentų
- RAG atsakymai su šaltiniais (Claude 4.5 Sonnet / Gemini 2.5 Pro per OpenRouter, FAISS vektorinis indeksas)
- Struktūrizuotų duomenų apie stiprumo klasę C235 išgavimas (8 cheminės sudėties elementai, 3 mechaninės savybės) į JSON su validacija
- Variantai: žiniatinklio žinių bazė su React/tRPC, standartų grafas Neo4j su grafą suprantančiais atsakymais, RAGFlow + OpenSearch su k-NN be Docker, FastAPI + HTMX žiniatinklio paslauga su rinkikliu (crawler), specifikacija didelio tikslumo OCR moduliui
Mašininis vertimas – šiuo metu redaguojamas.