Zakres współpracy

budowa i rozwój pipeline’ów danych niestrukturalnych w ramach projektu realizowanego dla obszaru sztucznej inteligencji

projektowanie i implementacja przepływów ETL zasilających Repozytorium Danych Niestrukturalnych oraz rozwiązania wykorzystywane przez agentów AI

tworzenie procesów przetwarzania danych pochodzących z dokumentów, obrazów i plików audio

implementacja mechanizmów ekstrakcji treści, OCR, ASR (transkrypcji audio) oraz konwersji dokumentów

rozwój rozwiązań wykorzystujących embeddingi, wyszukiwanie semantyczne, indeksowanie oraz filtrowanie danych po metadanych

integracja pipeline’ów z wektorowymi bazami danych, w szczególności Qdrant

projektowanie i rozwój usług przetwarzających dane z wykorzystaniem Pythona lub Rusta

tworzenie i integracja usług udostępniających funkcjonalności poprzez REST API

rozwój mechanizmów przetwarzania danych opartych na architekturze zdarzeniowej, m.in. Kafka lub Pub/Sub

współpraca przy projektowaniu usług kategoryzacji danych, ontologii oraz rozwiązań wspierających przetwarzanie informacji na potrzeby AI

analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych

współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI

model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie

budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług

Kompetencje wymagane

• doświadczenie w inżynierii danych, w szczególności w budowaniu pipeline’ów i usług przetwarzających dane (min. 3-5 lat doświadczenia)
• dobra znajomość Pythona lub Rusta
• praktyczna znajomość wektorowych baz danych, w szczególności Qdrant
• znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania danych po metadanych
• doświadczenie w projektowaniu lub rozwijaniu integracji opartych na REST API
• znajomość architektury sterowanej zdarzeniami (event-driven architecture), np. z wykorzystaniem Kafka lub Pub/Sub
• dobra znajomość systemu Linux
• znajomość relacyjnych baz danych, np. PostgreSQL
• umiejętność projektowania i rozwijania procesów przetwarzania danych
• samodzielność w analizie problemów technicznych i proponowaniu rozwiązań

Mile widziane

• doświadczenie z Docker, Kubernetes i CI/CD
• znajomość GCP, w tym BigQuery, Dataflow, Dataproc lub Pub/Sub
• znajomość Apache Airflow, Apache Spark lub Apache Beam
• doświadczenie z przetwarzaniem danych niestrukturalnych, w tym OCR, transkrypcją audio i konwersją dokumentów
• znajomość grafowych baz danych, np. Neo4j
• doświadczenie z Knowledge Graph, GraphRAG lub klasycznymi rozwiązaniami RAG
• znajomość FastAPI

Co oferujemy

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services
• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie
• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy