Android无障碍自动化结合opencv实现支付宝能量自动收集操作方法

目录

• opencv识别能量球
思路
实现
1. 项目集成opencv-android版
2. 截取能量球图像作为模板
3. 截取屏幕图像
4. 使用opencv模板匹配获取所有能量球位置
点击能量球
最终效果

dependencies {
 implementation 'org.opencv:opencv:4.9.0'
}

Imgproc.matchTemplate(image, templ, result, method, mask)

    /**
     * 模板匹配能量球
     */
    fun match() {
        try {
            val path = System.getProperty("user.dir") + "\\lib\\x64\\opencv_java490.dll"
            System.load(path)
            val temp = System.getProperty("user.dir") + "\\images\\temp.jpg"
            val image = System.getProperty("user.dir") + "\\images\\image.png"
            //模板图像
            val img = Imgcodecs.imread(image)
            //屏幕图像
            val templ = Imgcodecs.imread(temp)
            //掩膜图像
            val mask = createMask(templ)
            // 创建结果矩阵
            val resultCols: Int = img.cols() - templ.cols() + 1
            val resultRows: Int = img.rows() - templ.rows() + 1
            val result = Mat(resultRows, resultCols, CvType.CV_32FC1)
            // 进行模板匹配
            Imgproc.matchTemplate(img, templ, result, Imgproc.TM_CCORR_NORMED, mask)
            // 遍历结果矩阵，找到所有匹配超过阈值的位置
            val threshold = 0.98 // 阈值，根据实际情况调整
            var count = 0
            var countValue = 0
            for (y in 0 until result.rows()) {
                for (x in 0 until result.cols()) {
                    countValue++
                    val matchValue = result[y, x]
                    if (matchValue[0] >= threshold) {
                        count++
                        // 找到一个匹配位置
                        val matchLoc = Point(x.toDouble(), y.toDouble())
                        // 绘制矩形框
                        Imgproc.rectangle(img, matchLoc, Point(matchLoc.x + templ.cols(), matchLoc.y + templ.rows()), Scalar( 85.0, 85.0,205.0,), 2, Imgproc.LINE_AA, 0)
                    }
                }
            }
            // 显示结果
            Imgproc.resize(img, img, Size(img.cols() / 2.0, img.rows() / 2.0)) // 可选：调整显示大小
            HighGui.imshow("Matched Result: $count", img)
            HighGui.waitKey(0)
        } catch (e: Throwable) {
            e.printStackTrace()
        }
    }
    /**
     * 创建掩膜
     */
    fun createMask(source: Mat): Mat {
        // 转换为 HSV 颜色空间
        val hsvImage = Mat()
        Imgproc.cvtColor(source, hsvImage, Imgproc.COLOR_BGR2HSV)
        // 定义绿色的颜色范围
        val lowerGreen = Scalar(35.0, 100.0, 100.0)
        val upperGreen = Scalar(85.0, 255.0, 255.0)
        // 创建掩膜
        val mask = Mat()
        Core.inRange(hsvImage, lowerGreen, upperGreen, mask)
        // 忽略“27g”文字
        // 你可以使用形态学操作去掉文字部分，或者手动确定文字的位置并将其设置为黑色（0）。
        // 假设文字位于圆形中心，可以手动遮盖这个区域
        // Rect(中心位置x, 中心位置y, 宽度, 高度)
        val width = 80
        val height = 60
        val textRect = Rect(source.width() / 2 - width / 2, source.height() / 2 - height / 2, width, height) // 假设的“27g”文字位置和大小
        Imgproc.rectangle(mask, textRect, Scalar(0.0), -1)
        Imgproc.rectangle(mask, Rect((source.width() / 2 - width / 2) + 10, (source.height() / 2 - height / 2) + height, 40, 25), Scalar(255.0), -1)
        return mask
    }

//it.x + temp3.width() / 2，坐标加上模板大小的一半即点击中间位置
Assists.gestureClick((it.x + temp3.width() / 2).toFloat(), (it.y + temp3.height() / 2).toFloat())

Android无障碍自动化结合opencv实现支付宝能量自动收集操作方法
Android崩溃日志收集和保存解析
浅谈Android ANR的信息收集过程
Android 如何收集已发布程序的崩溃信息
Android 后台发送邮件示例 (收集应用异常信息+Demo代码)