Kog称GPU并非不适合代理工作流，正深挖推理性能

据TechCrunch报道，法国初创公司Kog近日提出一种与主流看法相左的观点：GPU在代理工作流（agentic workflows）中的表现不佳，可能是一种误解。传统的观点认为，代理式AI需要大量串行决策和推理，而这正是GPU的弱项，因为GPU擅长高度并行的矩阵运算。然而，Kog认为通过更深层的优化，可以释放GPU在推理任务中的潜力，尤其是在处理复杂的代理循环时。 Kog正在从事的研究和技术开发，旨在从现有的GPU硬件中“压榨”出更多的推理能力。尽管具体技术细节尚未披露，但这类优化可能涉及底层内核调整、内存访问模式优化、计算图重写，以及针对特定模型架构的定制化编译策略。该公司相信，只要对GPU的工作原理有更细致的理解，就能显著提升推理吞吐量，同时降低延迟和成本。 值得注意的是，Kog并不是在开发新的芯片或硬件，而是在现有硬件上做文章。这意味着它的技术有望被集成到现有的AI基础设施中，无需大规模更换设备。这或许是对“GPU不擅长推理”论调的一种挑战，也提示业界：在追求新硬件的同时，软件和系统层面的深度优化仍有巨大空间。 不过，由于Kog尚未公开详细的技术路线图和基准测试结果，这些说法的可信度还有待验证。TechCrunch的报道也保持谨慎，指出这只是该公司的立场，并非已证实的成果。对于AI社区而言，这提出了一个有趣的问题：我们是否过早地给GPU在推理场景中的表现下了结论？如果Kog的方法奏效，它可能会影响未来推理基础设施的设计方向，尤其是在代理式AI应用日益增多的背景下。 目前，Kog的具体客户或合作伙伴尚不明确，其融资情况也未公开。行业内对GPU推理优化的探索仍在继续，无论是利用稀疏化、量化，还是更高效的执行框架，Kog所代表的“深度优化”路线或将成为一股新的力量。