Csrayz's Blog

vLLM V1 Scheduler 调度器策略速通

vLLM V1 Scheduler 调度器策略速通该文章基于 vLLM v.0.10.0 的源码分析调度系统的核心是一个基于动态 Token 预算的分片处理引擎。系统初始化时，所有新请求会进入 WAITING 队列等待调度。在每个调度周期（Step）开始时，系统会分配固定的 Token 预算，随后按照 FCFS 或优先级顺序遍历请求队列。当请求所需的 T...

Posted by Csrayz on August 7, 2025

time.ParseInLocation的时区偏移问题

time.ParseInLocation的时区偏移问题在 Go 语言处理时间时，使用 time.ParseInLocation 解析时间字符串可能会遇到一个隐蔽的问题。先看这段代码： 1 2 3 4 5 6 7 8 9 10 11 12 13 now := time.Now() fmt.Println(now) // ✅正确：2025-06-22 18:26:07.821986 +0...

Posted by Csrayz on June 24, 2025

工具调用原理：从推理到训练

工具调用与函数调用的函数一致，大模型早期将该行为称为函数调用，后续逐渐更名为工具调用。工具调用（Tool Calling）是大型语言模型（LLM）应用开发中的关键技术，其本质是让模型具备结构化输出能力。在大型语言模型（LLM）的应用开发中，一个常见的误区是将工具调用**误认为**是由模型本身直接执行的操作。LLM 本身不直接执行工具调用。模型的核心作用是：理解用...

Posted by Csrayz on February 19, 2025

Go Map基础-内存模型和增删查改

基于 Go 1.19 在日常的编程实践中，我们常常将 map 作为一种高效的键值存储结构来使用。然而，在 map 的设计背后，隐藏着一系列关于效率、内存使用和并发处理的复杂权衡。这些权衡不仅影响了 map 的性能表现，也决定了它在不同场景下的适用性。本文将深入探讨 gomap 的设计哲学，揭示这些取舍背后的原理，帮助你更全面地理解并优化 map 的使用。将Map...

Posted by Csrayz on September 12, 2024

K8s基础理论—Service详解

这是 Kubernetes 基础理论中，关于 Service 部分的内容。前言 Kubernetes 之所以引入 Service 机制，主要是因为 Pod 资源不能够对外稳定的第提供服务。一方面是因为 Pod 的 IP 并非固定，其生命周期不是并永久的，会伴随着应用的启动、崩溃、扩容、缩容而不断变化。另一方面则是为了满足一组 Pod 需要进行服务发现和负载均衡以对外提供...

Posted by Csrayz on August 25, 2024

浮点数类型转换时的精度丢失问题

众所周知，浮点数与整形类型在相互转换后可能发生的精度丢失问题。浮点数转换为整形会发生截断和溢出问题，整形转换为浮点型会发生精度丢失问题。究其原因，是浮点型和整形在存储模式上的差异导致的。 Java类型转换时可能发生的精度丢失（虚线代表该转换存在精度丢失问题）整形与浮点数的存储模式计算机内部的所有数据都是用二进制编码来存储的。比如，7 可以用 0111 来表示。对于整形类型，整数类...

Posted by Csrayz on October 13, 2023