Conversation
- Add static_tests category under tests/unit-tests/ with deterministic tests for fork, threads, and TLS to cover static WASM builds - Add statictestreport harness that runs wasmtestreport with --static and -pthread flags; results are included in the combined report.html without generating a separate artifact file - Add --static flag to wasmtestreport.py (inserts --static before the source file in lind_compile invocations) - Refactor test_runner.py so harnesses can contribute HTML to the combined report.html purely in memory, without requiring a separate html_filename artifact
There was a problem hiding this comment.
Can we rename this file to dynamic related?
There was a problem hiding this comment.
this test runner invokes lind_compile with no additional argument, so this is essentially doing the test with default configuration in lind_compile. If default configuration in lind_compile is changed, then what this test runner is testing is also changed. Therefore, I'd like to keep the name
End-to-End Test ReportTest PreviewUnified Test Report grate harness
Cases
static harnessTest ReportDeterministic TestsSummary
Test Results by Category
Fail TestsSummary
wasm harnessTest ReportDeterministic TestsSummary
Test Results by Category
Fail TestsSummary
Test Results by Category
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| # --allow-pre-compiled : use .cwasm AOT binaries (consistent with dynamic harness) | ||
| # --compile-flags -pthread -lpthread : link pthread for thread/TLS tests | ||
| _STATIC_HARNESS_ARGS = [ | ||
| "--run", "static_tests", |
There was a problem hiding this comment.
Since this harness now owns static_tests, should we also exclude static_tests from the default wasmtestreport run? As written, I believe the normal wasm harness still discovers all tests/unit-tests/**/*.c, so these tests look like they’ll run once as dynamic-build tests and again here as static-build tests. Would it make sense to add a small guard near the existing if module_name == "wasmtestreport": block, perhaps appending a flag?
There was a problem hiding this comment.
just resolved this, could you take a look again
Exclude static_tests from the wasmtestreport harness so they are not run twice as dynamic-build tests (they are owned by statictestreport). Also handle PermissionError in wasmtestreport's testfiles cleanup so a permission issue on lindfs/testfiles does not crash the subprocess and cause statictestreport to abort before writing the combined report.
End-to-End Test ReportTest PreviewUnified Test Report grate harness
Cases
static harnessTest ReportDeterministic TestsSummary
Test Results by Category
Fail TestsSummary
wasm harnessTest ReportDeterministic TestsSummary
Test Results by Category
Fail TestsSummary
Test Results by Category
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
fix #1040