验证、消毒和安全地处理用户生成的内容是一个复杂且庞大的课题。本文仅关注其中一个方面：利用魔术字节嗅探用户上传内容的类型，并拒绝与验证规则不符的文件。
本文重点介绍：
- 如何在不缓冲整个文件到内存的情况下嗅探内容类型
- 如何编写简洁易用且可复用的代码
使用 http.DetectContentType
中的 http.DetectContentType 函数正是我们需要的。文档描述如下：
根据 https://www.php.cn/link/f89c3e51ae1979d52092d5e64fe06f5f 描述的算法确定给定数据的 MIME 类型。最多考虑前 512 字节的数据。DetectContentType 始终返回有效的 MIME 类型：如果无法确定更具体的 MIME 类型，则返回 “application/octet-stream”。
让我们看看如何在实践中使用它。考虑一个典型的文件上传处理程序，它将文件直接复制到 S3：
func handleUpload(w http.ResponseWriter, r *http.Request) { // 验证请求头 // ... // 将请求体直接复制到 S3 uploader := s3manager.NewUploader(sess) _, err := uploader.Upload(&s3manager.UploadInput{ Bucket: aws.String("my-bucket"), Key: aws.String("filename.jpg"), Body: r.Body, }) if err != nil { w.WriteHeader(500) } }
如果我们手动使用 http.DetectContentType 只允许上传图像，代码如下。记住，我们不想缓冲整个文件到内存：
// 读取请求体的前一部分 var first512 [512]byte n, err := io.ReadFull(r.Body, first512[:]) if err != nil && !errors.Is(err, io.ErrUnexpectedEOF) && !errors.Is(err, io.EOF) { w.WriteHeader(500) return } // 检测并验证内容类型 contentType := http.DetectContentType(first512[:n]) if !strings.HasPrefix(contentType, "image/") { w.WriteHeader(400) return } // 重新组合请求体 reqBody := io.MultiReader(bytes.NewReader(first512[:n]), r.Body)
这种方法有几个缺点：
- 代码冗长，易出错
- 错误处理分散，难以维护
- 需要在每个上传处理程序中重复此模式
让我们将此逻辑封装到一个可复用的组件中，该组件为我们处理复杂性。
我们需要什么？
让我们看看目标。我们想要一个自定义的读取器包装器——NewContentTypeReader，它会在读取正文时自动检测内容类型并调用用户提供的回调函数。回调函数将执行所有必要的验证，并可以选择返回错误。我们的 HTTP 处理程序如下所示：
var errNotImage = errors.New("not an image") func handleUpload(w http.ResponseWriter, r *http.Request) { // 验证请求头 // ... // 自定义读取器，用于检测和验证内容类型 reqBody := NewContentTypeReader(r.Body, func(contentType string) error { if !strings.HasPrefix(contentType, "image/") { return errNotImage } return nil }) // 将请求体直接复制到 S3 uploader := s3manager.NewUploader(sess) _, err := uploader.Upload(&s3manager.UploadInput{ Bucket: aws.String("my-bucket"), Key: aws.String("filename.jpg"), Body: reqBody, }) if errors.Is(err, errNotImage) { // 捕获自定义读取器的错误 w.WriteHeader(400) return } if err != nil { w.WriteHeader(500) } }
如果请求体看起来不像图像，则任何尝试从 reqBody 读取的尝试都将失败。
实现读取器包装器
现在我们已经了解了如何使用包装器，让我们看看如何实现它。我们可以使用 io.MultiReader 使用与上述相同的方法，尽管在无法读取前 512 个字节的情况下，某些非致命错误（例如 I/O 超时）可能会导致并发症。相反，我们的包装器只代理所有读取调用，但也累积内部缓冲区，直到有足够的数据来调用 http.DetectContentType 函数。
type ctReader struct { buf []byte reader io.Reader handler func(contentType string) error } // NewContentTypeReader 返回一个读取器，它嗅探内容类型并将其传递给处理程序。 func NewContentTypeReader(r io.Reader, handler func(contentType string) error) io.Reader { return &ctReader{ reader: r, handler: handler, } } func (r *ctReader) Read(p []byte) (n int, err error) { n, err = r.reader.Read(p) if r.handler != nil { // 累积缓冲区 r.buf = append(r.buf, p[:min(512, n)]...) // 缓冲区足够大或达到 EOF if len(r.buf) >= 512 || errors.Is(err, io.EOF) { contentType := http.DetectContentType(r.buf) if err2 := r.handler(contentType); err2 != nil { err = err2 // 替换原始错误 } // 确保我们不再调用处理程序 r.handler = nil r.buf = nil } } return } func min(a, b int) int { if a < b { return a } return b }
结论
我们已经构建了一个可复用的文件上传内容类型检测解决方案：
- 即时验证文件，无需完全缓冲到内存
- 集成 Go 的 io.Reader 接口和标准库
- 可与 Amazon S3 等云存储服务自然协作
魔术字节检测对于大多数常见的文件类型是可靠的，但记住它只是一层防御。对于生产系统，应将其与其他安全措施结合使用，例如文件大小限制、恶意软件扫描和正确的访问控制。
原文发表于 destel.dev
以上就是在go中闻和验证的即时内容类型的详细内容，更多请关注php中文网其它相关文章！
微信扫一扫打赏
支付宝扫一扫打赏
