camelCase("this is a pen") of me
–>　　"thisIsAPen."

set aPath to POSIX path of (choose file)
set aRes to readJapanesTextFileWithGuessingEncoding(aPath) of me
set bRes to aRes as string

–Read Japanese text with detecting its text encoding
on readJapanesTextFileWithGuessingEncoding(aPOSIXpath as string)
　　
　　–ISO2022JP check
　　set aNSData to current application’s NSData’s dataWithContentsOfFile:aPOSIXpath
　　set aDataLength to aNSData’s |length|()
　　if aDataLength > 1024 then set aDataLength to 1024
　　
　　–0x1B check
　　set anNSString to current application’s NSString’s stringWithString:(character id 27) — 0x1B
　　set theData to anNSString’s dataUsingEncoding:(current application’s NSUTF8StringEncoding)
　　set theRange to aNSData’s rangeOfData:theData options:0 range:(current application’s NSMakeRange(0, aDataLength))
　　
　　–found 0x1B in aNSData
　　if |length| of theRange = 1 and location of theRange < aDataLength then
　　　　set aStr to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSISO2022JPStringEncoding)) –21
　　　　if aStr is not equal to missing value then return (aStr as text) — ISO2022JP
　　end if
　　
　　–EUC
　　set resValue to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSJapaneseEUCStringEncoding))
　　–log resValue
　　if resValue is not equal to missing value then return (resValue as text)
　　–UTF-8
　　set resValue to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSUTF8StringEncoding))
　　–log resValue
　　if resValue is not equal to missing value then return (resValue as text)
　　–SHift JIS
　　set resValue to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSShiftJISStringEncoding))
　　–log resValue
　　if resValue is not equal to missing value then return (resValue as text)
　　
　　
　　–UTF-16BE/LE/無印Unicodeは多数決を取る
　　set resValue1 to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSUTF16BigEndianStringEncoding)) as text
　　–log resValue1
　　set sample1 to getTextSample(resValue1) of me
　　set lang1 to specifyLanguageOfText(sample1) of me
　　set para1 to length of (paragraphs of sample1)
　　set words1 to length of (words of sample1)
　　
　　set resValue2 to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSUTF16LittleEndianStringEncoding)) as text
　　–log resValue2
　　set sample2 to getTextSample(resValue2) of me
　　set lang2 to specifyLanguageOfText(sample2) of me
　　set para2 to length of (paragraphs of sample2)
　　set words2 to length of (words of sample2)
　　
　　set resValue3 to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSUnicodeStringEncoding)) as text
　　–log resValue3
　　set sample3 to getTextSample(resValue3) of me
　　set lang3 to specifyLanguageOfText(sample3) of me
　　set para3 to length of (paragraphs of sample3)
　　set words3 to length of (words of sample3)
　　
　　–文字および文法的に見て「日本語」ならそれを返す
　　if lang1 = "ja" then return resValue1
　　if lang2 = "ja" then return resValue2
　　if lang3 = "ja" then return resValue2
　　
　　
　　–文字化けしたときには、日本語の「Word」として認識されづらく、Paragraphも少ない（１とか）なので条件で除外する
　　if para1 is not equal to 1 then
　　　　if (words1 ≤ words2) or (words1 ≤ words3) then
　　　　　　return resValue1
　　　　end if
　　end if
　　
　　if para2 is not equal to 1 then
　　　　if (words2 ≤ words1) or (words2 ≤ words3) then
　　　　　　return resValue2
　　　　end if
　　end if
　　
　　if para3 is not equal to 1 then
　　　　if (words3 ≤ words1) or (words3 ≤ words2) then
　　　　　　return resValue3
　　　　end if
　　end if
　　
　　return false
　　
　　(*
　　–おまけ（未確認）
　　set resValue to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSWindowsCP1251StringEncoding))
　　if resValue is not equal to missing value then return resValue
　　
　　set resValue to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSWindowsCP1252StringEncoding))
　　if resValue is not equal to missing value then return resValue
　　
　　set resValue to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSWindowsCP1253StringEncoding))
　　if resValue is not equal to missing value then return resValue
　　
　　set resValue to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSWindowsCP1254StringEncoding))
　　if resValue is not equal to missing value then return resValue
　　
　　set resValue to (current application’s NSString’s alloc()’s initWithData:aNSData encoding:(current application’s NSWindowsCP1250StringEncoding))
　　if resValue is not equal to missing value then return resValue
　　
　　return false
　　*)
end readJapanesTextFileWithGuessingEncoding

on specifyLanguageOfText(aStr)
　　set aNSstring to current application’s NSString’s stringWithString:aStr
　　set tagSchemes to current application’s NSArray’s arrayWithObjects:(current application’s NSLinguisticTagSchemeLanguage)
　　set tagger to current application’s NSLinguisticTagger’s alloc()’s initWithTagSchemes:tagSchemes options:0
　　tagger’s setString:aNSstring
　　set aLanguage to tagger’s tagAtIndex:0 |scheme|:(current application’s NSLinguisticTagSchemeLanguage) tokenRange:(missing value) sentenceRange:(missing value)
　　return aLanguage as text
end specifyLanguageOfText

set aPath to (POSIX path of (choose file))
set aStr to current application’s NSString’s stringWithString:aPath
set aDetector to current application’s UniversalDetector’s new()
aDetector’s analyzeContentsOfFile:aStr
set aStr to current application’s NSString’s localizedNameOfStringEncoding:(aDetector’s encoding())

–>　　(NSString) "日本語（EUC）"
–>　　(NSString) "日本語（ISO 2022-JP）"
–>　　(NSString) "日本語（Shift JIS）"
–>　　(NSString) "Unicode（UTF-8）"
–>　　(NSString) "キリル文字（Windows）" –NG。本当はUTF-16 no BOM
–>　　(NSString) "中国語（GB 18030）"–NG。本当はUTF-16BE
–>　　(NSString) "Unicode（UTF-16）"

set bStr to aDetector’s MIMECharset()

–>　　(NSString) "EUC-JP"
–>　　(NSString) "ISO-2022-JP"
–>　　(NSString) "Shift_JIS"
–>　　(NSString) "UTF-8"
–>　　(NSString) "windows-1251"–NG
–>　　(NSString) "gb18030"–NG
–>　　(NSString) "UTF-16"

set aNum to (aDetector’s confidence()) * 100
–>　　100.0–"EUC-JP"
–>　　100.0–"ISO-2022-JP"
–>　　100.0–"Shift_JIS"
–>　　100.0–"UTF-8"
–>　　5.271286144853–UTF-16 no BOM
–>　　100.0–NGだが100%といっている
–>　　100.0– "UTF-16"

property NSString : a reference to current application’s NSString
property NSScanner : a reference to current application’s NSScanner
property NSMutableArray : a reference to current application’s NSMutableArray
property NSRegularExpressionSearch : a reference to current application’s NSRegularExpressionSearch
property NSNumberFormatterRoundUp : a reference to current application’s NSNumberFormatterRoundUp

set aStr to "　数多国ある西方諸国だが、元を辿ればとある一つの国へとつながっていた。それは幻晶騎士（シルエットナイト）の力により西方の地に覇をとなえた人類が作り上げた超巨大国家、その名を“ファダーアバーデン”という。
　西方暦一二八九年の現在において西方諸国を構成する主要国家、“ジャロウデク王国”、“クシェペルカ王国”、“ロカール諸国連合”、“|孤独なる十一《イレブンフラッグス》”などの国々は、全てかの巨大国家が分裂してできた残滓なのである。"

–set aStr to getEditorText()

–"|○o○o○《XXXXX》" –> "XXXXX"
set bRes to trimStrHeaderFromTo(aStr, "|", "《", "》") of me

–"aaaaa○○○（XXXXX）" –> "XXXXX"
set cStr to trimStrHeaderFromToForward(bRes, "（", "）") of me

(*
"　数多国ある西方諸国だが、元を辿ればとある一つの国へとつながっていた。それはシルエットナイトの力により西方の地に覇をとなえた人類が作り上げた超巨大国家、その名を“ファダーアバーデン”という。
　西方暦一二八九年の現在において西方諸国を構成する主要国家、“ジャロウデク王国”、“クシェペルカ王国”、“ロカール諸国連合”、“イレブンフラッグス”などの国々は、全てかの巨大国家が分裂してできた残滓なのである。"
*)

–"|○o○o○《XXXXX》" –> "XXXXX"
on trimStrHeaderFromTo(aParamStr, headerStr, fromStr, toStr)
　　set theScanner to NSScanner’s scannerWithString:aParamStr
　　set anArray to NSMutableArray’s array()
　　
　　repeat until (theScanner’s isAtEnd as boolean)
　　　　set {theResult, theKey} to theScanner’s scanUpToString:headerStr intoString:(reference)
　　　　
　　　　theScanner’s scanString:fromStr intoString:(missing value)
　　　　set {theResult, theValue} to theScanner’s scanUpToString:fromStr intoString:(reference)
　　　　if theValue is missing value then set theValue to ""
　　　　
　　　　theScanner’s scanString:fromStr intoString:(missing value)
　　　　
　　　　anArray’s addObject:theValue
　　end repeat
　　
　　if anArray’s |count|() = 0 then return aParamStr
　　
　　copy aParamStr to curStr
　　repeat with i in (anArray as list)
　　　　set curStr to repChar(curStr, i & fromStr, "") of me
　　end repeat
　　
　　set curStr to repChar(curStr, toStr, "") of me
　　
　　return curStr
end trimStrHeaderFromTo

–"aaaaa○○○（XXXXX）" –> "XXXXX"
on trimStrHeaderFromToForward(aParamStr, fromStr, toStr)
　　set theScanner to NSScanner’s scannerWithString:aParamStr
　　set anArray to NSMutableArray’s array()
　　
　　repeat until (theScanner’s isAtEnd as boolean)
　　　　set {theResult, theKey} to theScanner’s scanUpToString:fromStr intoString:(reference)
　　　　set curLoc to (theScanner’s scanLocation()) + 1
　　　　
　　　　–scan back to different kind of character
　　　　set prevKind to detectCharKindMain(text (curLoc – 1) of aParamStr) of me
　　　　
　　　　repeat with i from curLoc – 2 to 1 by -1
　　　　　　set aStr to text i of aParamStr
　　　　　　set curKind to detectCharKindMain(aStr) of me
　　　　　　
　　　　　　if prevKind is not equal to curKind then
　　　　　　　　exit repeat
　　　　　　end if
　　　　end repeat
　　　　
　　　　try
　　　　　　set tmpStr to text (i + 1) thru curLoc of aParamStr
　　　　　　theScanner’s scanString:fromStr intoString:(missing value)
　　　　　　set {theResult, theValue} to theScanner’s scanUpToString:fromStr intoString:(reference)
　　　　　　if theValue is missing value then set theValue to ""
　　　　　　
　　　　　　theScanner’s scanString:fromStr intoString:(missing value)
　　　　　　
　　　　　　anArray’s addObject:tmpStr
　　　　end try
　　　　
　　end repeat
　　
　　if anArray’s |count|() = 0 then return aParamStr
　　
　　copy aParamStr to curStr
　　repeat with i in (anArray as list)
　　　　set curStr to repChar(curStr, i, "") of me
　　end repeat
　　
　　set curStr to repChar(curStr, toStr, "") of me
　　
　　return curStr
end trimStrHeaderFromToForward

on repChar(aStr, targStr, repStr)
　　set aString to current application’s NSString’s stringWithString:aStr
　　set bString to aString’s stringByReplacingOccurrencesOfString:targStr withString:repStr
　　set cString to bString as string
　　return cString
end repChar

–文字種別判定
on detectCharKindMain(aStr)
　　set s1Res to chkKanji(aStr) of me
　　set s2Res to chkKatakana(aStr) of me
　　set s3Res to chkHiragana(aStr) of me
　　set s4Res to chkLineFeed(aStr) of me
　　set s5Res to chkSpecialSign(aStr) of me
　　set s6Res to chkAlphaNumeric(aStr)
　　
　　if s1Res = true then
　　　　set curKind to "Kanji"
　　else if s2Res = true then
　　　　set curKind to "Katakana"
　　else if s3Res = true then
　　　　set curKind to "Hiragana"
　　else if s4Res = true then
　　　　set curKind to "Line Feed"
　　else if s5Res = true then
　　　　set curKind to "Sign"
　　else if s6Res = true then
　　　　set curKind to "Alpha Numeric"
　　end if
　　
　　return curKind
end detectCharKindMain

on chkKanji(aChar)
　　return detectCharKind(aChar, "[一-龠]") of me
end chkKanji

on chkHiragana(aChar)
　　return detectCharKind(aChar, "[ぁ-ん]") of me
end chkHiragana

on chkKatakana(aChar)
　　return detectCharKind(aChar, "[ァ-ヶ]") of me
end chkKatakana

on chkLineFeed(aChar)
　　return aChar is in {string id 10, string id 13, string id 13 & string id 10}
end chkLineFeed