Route lokale AI-assistent verkeer via een zelf-gehoste gateway
Route lokale AI-assistent verkeer via een gecentraliseerde, zelf-gehoste gateway die real-time oproepcompressie en contextoptimalisatie toepast om de inferentiekosten te verlagen. Anyray Connect, van Othentic Labs Ltd, wordt geleverd als een ondertekend Windows-uitvoerbaar bestand voor engineeringteams en DevOps. Het biedt een OpenAI-compatibele API, biedt kostenattributie per team en project, en bevat een fail-open timeout zodat ontwikkelaarsworkflows blijven draaien. De tool is geschikt voor teams die LLM's op grote schaal draaien en on-premise governance vereisen.
Wat doet Anyray Connect eigenlijk voor ontwikkelaars LLM-verkeer?
Anyray Connect leidt verzoeken van lokale AI-tools via een interne gateway, waarbij eindpunten worden herschreven zodat assistenten en SDK's de optimizer gebruiken zonder codewijzigingen. De client-side uitvoerbare automatisch configureert compatibele tools om naar de gateway te wijzen, en de gateway past deterministische, regelgebaseerde transformaties toe voor compressie en contextafsnijding. De opstelling richt zich op omgevingen waar promptinhoud binnen de bedrijfsinfrastructuur moet blijven, en het stelt een OpenAI-compatibele API bloot zodat bestaande integraties blijven werken.
Heeft het invloed op workflows of vereist het engineeringwijzigingen?
De tool werkt als een drop-in vervanging voor bestaande LLM-eindpunten, zodat teams de assistentcode of SDK-aanroepen niet hoeven te wijzigen. Bovendien gebruikt de client een fail-open mechanisme met een time-out van 800–1200 milliseconden dat verzoeken onveranderd doorstuurt als de optimizer traag is, wat de productiviteit van ontwikkelaars behoudt. Configuratie vindt plaats op de client- en gatewaylaag, en installateurs worden verspreid als een enkele ondertekende Windows-uitvoerbare of via de Windows Package Manager.
Is het veilig om binnen een bedrijfsomgeving te opereren?
Veiligheid is ingebouwd in de zelf-gehoste architectuur; de gateway en optimizer draaien binnen jouw infrastructuur (bijvoorbeeld, Docker of Kubernetes), en prompt/antwoordinhoud blijft op locatie. Bovendien gebruikt de optimizer deterministische transformaties om outputs stabiel te houden, en metering verzendt alleen inhoudsvrije metadata voor uitgavenattributie. Deze ontwerpkeuzes beperken externe blootstelling terwijl ze gebruiksrapportage per team en per project bieden.
Een gerichte tool voor engineeringteams die al zelf-gehoste infrastructuur draaien
Anyray Connect is geschikt voor engineering- en DevOps-teams die gedetailleerd toezicht nodig hebben op LLM-verkeer en al containerized of on-premise diensten draaien. Het behoudt bestaande integraties door een standaard API bloot te stellen en houdt gevoelige prompts binnen het netwerk. De belangrijkste afweging is de operationele vereiste: teams moeten de gateway-infrastructuur hosten en onderhouden om te profiteren van de optimalisatie- en toewijzingsfuncties.
