To Örebro University

The adoption of a microservice architecture managed by orchestration tools such as Kubernetes has grown in recent years due to its numerous advantages, including the ease of scaling services to meet incoming workloads. However, Kubernetes built-in reactive scaling technique often falls short due to its reliance on real-time metrics, like CPU utilization of services. Services inside the Kubernetes cluster often experience a cold-start period, from deployment until they are ready to serve requests. This cold-start period can cause the reactive scaling strategy to fail when requests need to be processed quickly, making it unsuitable for highly fluctuating workloads where service time must remain low, as is the case for SEB and many of their services. An alternative to the reactive scaling strategy is the proactive scaling strategy, which this thesis proposed. It utilizes predictive time-series models to forecast future payment behavior. This enables the Kubernetes cluster to scale services ahead of time based on anticipated future workloads, ensuring they have passed their cold-start period and are ready to serve requests. The results of an experiment show that the proposed strategy yields better performance in terms of Quality of Service by approximately 10.36%, enhancing the customer experience while reducing resource usage by approximately 28.47%. This results in decreased costs and environmental impact for SEB, while maintaining high customer experience.

Användningen av mikrotjänstarkitekturer som hanteras av orkestreringsverktyg såsom Kubernetes har ökat under de senaste åren på grund av dess flertal fördelar, där ett utav dessa är enkelheten att skala tjänster för att möta inkommande arbetsbelastningar. Kubernetes inbyggda reaktiva skalningsteknik fallerar på grund av dess förlitande på realtidsmätvärden, exempelvis CPU-användning av tjänsterna. Tjänster inom Kubernetes klustret upplever ofta en kallstartsperiod från dess utrullning tills de är redo att hantera förfrågningar. På grund av denna kallstartperiod kan den reaktiva skalningsstrategin misslyckas när förfrågningar måste behandlas snabbt, vilket gör den olämplig för höga fluktuationer av arbetsbelastningar där tjänstetiden måste förbli låg, vilket är fallet för många av tjänsterna som SEB hanterar. Ett alternativ till den reaktiva skalningsstrategin är den proaktiva skalningsstrategin som denna avhandling föreslår. Den utnyttjar prediktiva tidsseriemodeller för att förutse framtida beteenden vid betalningar. Detta gör det möjligt för Kubernetes klustret att skala tjänster i förväg baserat på förväntade framtida arbetsbelastningar, vilket säkerställer att de har passerat sin kallstartsperiod och är redo att hantera förfrågningar. Resultaten från ett experiment visar att den föreslagna strategin leder till cirka 10.36% bättre prestanda när det gäller tjänstekvalitet, vilket förbättrar kundupplevelsen samtidigt som resursanvändningen minskar med cirka 28.47%. Detta resulterar i en minskning av kostnader och miljöpåverkan för SEB, medan kundupplevelsen förbättras.