> даже вся эта InMemoryDB для прогнозов зайдёт в кеш целиком

Там в примере три или четыре прогноза, так что не в этом проблема. Проблема в мегабайтах кода нескольких десятков нитей с собственным стеком и ворохом создаваемых объектов, включая семафоры, которые только на сериализации и десериализации ProtoBuf уже сожрут любой кеш CPU.
Просто скомпилите этот пример https://learn.microsoft.com/en-us/aspnet/core/tutorials/firs...
Потом грузаните его хотя бы на 32-х ядрах, как делал я. И сами увидите, что кеш CPU вытесняется в userspace полностью.
Можете брокер Кафки поднять на тех же 32-х ядрах и с тем же ProtoBuf. Эффект тот же самый увидите.

> __обощаешь__ этот пример все приложения

Потому что проще него придумать, что-то имеющее хоть какую-то практическую ценность, уже мало реально. Теоретически, можно написать сервис на C + ассемблер, сократив нагрузку на кеш CPU. Но на практике финансировать такую разработку будут только в редчайших случаях, о чем я и указал, приведя в качестве примера разработку маршрутизаторов.