test CleanedText

Author: Talha Altinel

anki/record.go

@@ -66,25 +66,32 @@ func (r Record) RandomizedRow() []string {
 	}
 }
 
+const (
+	startCloze = "{{c1::"
+	endCloze   = "}}"
+)
+
 // CleanedText returns the cleaned text without "{{c1::}}"
 func (r Record) CleanedText() string {
-	start := strings.Index(r.Text, "{{c1::")
+	start := strings.Index(r.Text, startCloze)
 	if start == -1 {
 		return ""
 	}
 
-	end := strings.Index(r.Text[start:], "}}")
+	end := strings.Index(r.Text[start:], endCloze)
 	if end == -1 {
 		return ""
 	}
 
 	// set to absolute end
 	end = start + end
-	// length of "{{c1::" is 6
-	answer := r.Text[start+6 : end]
-	// length of "}}" is 2
-	cleanedText := r.Text[:start] + answer + r.Text[end+2:]
+	answer := r.Text[start+len(startCloze) : end]
 
+	cleanedText := r.Text[:start] + answer + r.Text[end+len(endCloze):]
+	cleanedText = strings.ReplaceAll(cleanedText, "  ", " ")
+	if strings.Contains(cleanedText, startCloze) || strings.Contains(cleanedText, endCloze) {
+		return ""
+	}
 	return cleanedText
 }
 

anki/record_test.go

@@ -0,0 +1,74 @@
+package anki
+
+import (
+	"testing"
+
+	"github.com/google/go-cmp/cmp"
+)
+
+func TestRecord_CleanedText(t *testing.T) {
+	tests := []struct {
+		name string
+		text string
+		want string
+	}{
+		{
+			name: "cloze deletion at the end",
+			text: "The capital of France is {{c1::Paris}}.",
+			want: "The capital of France is Paris.",
+		},
+		{
+			name: "cloze deletion at beginning",
+			text: "{{c1::Hello}} world!",
+			want: "Hello world!",
+		},
+		{
+			name: "empty cloze deletion",
+			text: "This is {{c1::}} empty.",
+			want: "This is empty.",
+		},
+		{
+			name: "cloze deletion with spaces",
+			text: "The {{c1::quick brown fox}} jumps.",
+			want: "The quick brown fox jumps.",
+		},
+		{
+			name: "no cloze deletion marker",
+			text: "This is plain text.",
+		},
+		{
+			name: "malformed - no opening marker",
+			text: "This is Paris}}.",
+		},
+		{
+			name: "malformed - no closing marker",
+			text: "This is {{c1::Paris.",
+		},
+		{
+			name: "empty text",
+		},
+		{
+			name: "only markers",
+			text: "{{c1::}}",
+		},
+		{
+			name: "multiple closing markers - takes first",
+			text: "The {{c1::answer}} is }} here.",
+		},
+		{
+			name: "nested braces in content",
+			text: "Code: {{c1::func() { return }}}",
+			want: "Code: func() { return }",
+		},
+	}
+
+	for _, tt := range tests {
+		t.Run(tt.name, func(t *testing.T) {
+			r := Record{Text: tt.text}
+			got := r.CleanedText()
+			if diff := cmp.Diff(tt.want, got); diff != "" {
+				t.Errorf("CleanedText() mismatch (-want +got):\n%s", diff)
+			}
+		})
+	}
+}

testdata/anki-example2.csv

@@ -0,0 +1,16 @@
+Text,HelperText,TextA,TextB,TextC,TextD
+Bạn có thể {{c1::nói}} tiếng Anh không?,Can you speak English?,nói,hiểu,viết,đọc
+Cuối tuần này bạn muốn đi {{c1::chơi}} đâu?,Where do you want to go out this weekend?,đi,chơi,xem,ăn
+Món ăn yêu thích của bạn là {{c1::gì}}?,What is your favorite food?,ở,đâu,gì,ai
+Bạn có thường xuyên {{c1::tập}} thể dục không?,Do you exercise often?,tập,làm,chơi,học
+Mấy giờ bạn {{c1::đi}} ngủ?,What time do you go to sleep?,đi,về,thức,dậy
+Hôm nay thời tiết {{c1::thế}} nào?,How is the weather today?,gì,thế,ai,đâu
+"Bạn có anh,chị,em {{c1::ruột}} không?",Do you have any biological siblings?,ruột,nuôi,bạn,thân
+Bạn làm nghề {{c1::gì}}?,What do you do for a living?,gì,ai,đâu,khi nào
+Bạn thích {{c1::đọc}} sách không?,Do you like reading books?,nghe,xem,đọc,viết
+Bạn {{c1::thích}} món ăn nào nhất?,Which dish do you like the most?,thích,ghét,ăn,uống
+Chaò anh thích môn thể thao {{c1::nào}} nhất?,Hello sir which sport do you like the most?,nào,gì,ai,đâu
+Chaò chị thấy món ăn này {{c1::thế}} nào?,Hello ma'am how do you find this dish?,ở,thế,gì,ai
+Món ăn này ngon {{c1::tuyệt}} vời!,This dish is absolutely wonderful!,rất,tuyệt,hơn,kém
+{{c1::Chaò}} chị có thể giúp tôi một chút không?,Hello ma'am can you help me a little?,Tạm biệt,Chaò,Xin lỗi,Cảm ơn
+Buổi tiệc {{c1::hôm}} nay thật tuyệt vời!,Today's party is truly wonderful!,ngày,hôm,tối,mai