set aStr to "ライター/編集者仲間である友人と雑談していたところ、自然言語処理がいろいろ使えそうなシーンが見えてきました。彼によると、Twitter上で過去記事の紹介ツイートを行いたいが、何も関係ないところに唐突に記事紹介のツイートを投げても不自然だし、興味を持たれにくいので、時事ネタと関連する記事を紹介する仕組みを作れないだろうか、という話になりました。

apitoreでも日本語Word.netのデータを利用して類義語や上位概念の言葉を計算できるようになっていますが、日本語の基本的な語句に特化しており、実際に試してみたところ「カール」「ガンダム」といった商品名などから類義語や上位概念を求める用途に向いていないことがわかりました。これらの計算を行うためには、Wikipediaのデータからカテゴリを取得できれば、やりやすくなるものと思われます。"

set aCond to current application’s EACondensor’s alloc()’s initWithText:aStr
aCond’s setAverageThreshold:(1.0 as real)
set shortStr to (aCond’s condensedString()) as string
–>　　"ライター/編集者仲間である友人と雑談していたところ、自然言語処理がいろいろ使えそうなシーンが見えてきました。彼によると、Twitter上で過去記事の紹介ツイートを行いたいが、何も関係ないところに唐突に記事紹介のツイートを投げても不自然だし、興味を持たれにくいので、時事ネタと関連する記事を紹介する仕組みを作れないだろうか、という話になりました。そこで、比較的鮮度および注目度が高いと思われる「ニュース記事」から固有名詞だけを抽出し、その固有名詞にどのぐらい世間的な注目が集まっているかを判定できると、そのキーワードに関連する過去記事をツイートしやすくなるかもしれないと考えました。apitoreのREST APIには、ニュースフィードを提供するもの、形態素解析を行うもの、Twitter検索を行うものなどがあり、これらを組み合わせるとできそうな感じがしてきました。→　Playing with rest api実際に試してみたところ、ニュースフィードからニュース記事本文を抽出するのは（RSS Feedに本文の冒頭部分が含まれていないケースもあるので、結局記事のサイトを見に行って本文を抽出する必要がある）けっこう大変で、タイトル（題名）のみ処理することに。次に、タイトルの文章を形態素解析して、「固有名詞」だけを抽出してみました。これは別に難しくもなんともありません。さらに、入り組んだrecordから目的のデータを取り出すのは、AppleScriptでもCocoaの機能を使えば造作もありません。NSDictionaryからvalueForKeyPath:でオブジェクトパスを記述して抽出すれば、データ取り出しのために長々とループ処理で記述する必要はありません。次の段階は、その時点における「注目度」の計算です。仮にTwitter全体を１つの「世間」とみなし、Twitter上で拡散されていたりお気に入りに入れられる回数の高い単語は、比較的「注目度」が高いものだろうという仮説を立てました。→　キーワードの言語ごとのTwitter発言内容集計そこで、ニュースのタイトルから抽出した固有名詞をTwitterで検索し、それぞれの固有名詞がTweet上でどの程度リツイートされたか、お気に入りに入れられたかを計算してみました。これについては、コストの問題からREST APIではなくローカルのmacOS上で動作するAppleScript用Twitterクライアント「TwitterScripter」を呼び出すことにしました。apitore上の各種REST APIは無料で試用できますが、呼び出し回数が増えれば料金がかかるため、その部分を節約することが目的です。TwitterScripterを使用することによるデメリットは、それ自体が並列処理に対応していないこと。Mac上で（AppleScriptによる）並列処理を行ってTwitter検索を行う場合には、直接Twitterの（割と整理されていない）APIを直接呼び出すか、apitore上のREST APIを呼び出すしかなさそうです。→ AS. "

set piyoText to "githubで公開されているオープンソースのフレームワーク「HTTPServerKit」（By David Thorpe氏）を呼び出して、簡易http（Web）サーバー機能を起動するAppleScriptです。

実際に試す場合には、ビルドされたバイナリをダウンロードするほかないと思われます。AppleScriptの実行前にフレームワークのバイナリを~/Library/Frameworksに入れておいてください。"

set bText to summarizeInSpecifiedChars(piyoText, 400)

–結果表示
display dialog (bDate – aDate) as string
–> 通常で5秒、offset ofをフックして自前のサブルーチンで実行すると２秒

–offset命令の実行を横取りする
on offset of searchStr in str
　　set aRes to getOffset(str, searchStr) of me
　　return aRes
end offset

on getOffset(str, searchStr)
　　set d to divideBy(str, searchStr)
　　if (count d) is less than 2 then return 0
　　return (length of item 1 of d) + 1
end getOffset

on divideBy(str, separator)
　　set delSave to AppleScript’s text item delimiters
　　set the AppleScript’s text item delimiters to separator
　　set strItems to every text item of str
　　set the AppleScript’s text item delimiters to delSave
　　return strItems
end divideBy

set aString to current application’s NSString’s stringWithString:"長野谷　隆昌"
set aRange to aString’s rangeOfString:"隆"
return aRange
–>{​​​​​location:4, ​​​​​length:1​​​}

property NSString : a reference to current application’s NSString
property NSMutableArray : a reference to current application’s NSMutableArray
property NSDate : a reference to current application’s NSDate
property NSLiteralSearch : a reference to current application’s NSLiteralSearch

set aFile to POSIX path of (choose file)

set a1Dat to NSDate’s timeIntervalSinceReferenceDate()

set aStr to NSString’s stringWithContentsOfFile:aFile encoding:(current application’s NSUTF8StringEncoding) |error|:(missing value)
set aRes to searchWordRanges(aStr, "子供") of me as list
–>　　{​​​​​{​​​​​​​location:1159, ​​​​​​​length:2​​​​​}, ​​​​​{​​​​​​​location:1242, ​​​​​​​length:2​​​​​}, ​​​​​{​​​​​​​location:1261, ​​​​​​​length:2​​​​​}, ​​​​​…..

set b1Dat to NSDate’s timeIntervalSinceReferenceDate()
set c1Dat to b1Dat – a1Dat

on searchWordRanges(aTargText as string, aSearchStr as string)
　　set aStr to NSString’s stringWithString:aTargText
　　set bStr to NSString’s stringWithString:aSearchStr
　　
　　set hitArray to NSMutableArray’s alloc()’s init()
　　set cNum to (aStr’s |length|()) as integer
　　
　　set aRange to current application’s NSMakeRange(0, cNum)
　　
　　repeat
　　　　set detectedRange to aStr’s rangeOfString:bStr options:(NSLiteralSearch) range:aRange
　　　　if detectedRange’s location is equal to current application’s NSNotFound then exit repeat
　　　　
　　　　hitArray’s addObject:detectedRange
　　　　
　　　　set aNum to (detectedRange’s location) as integer
　　　　set bNum to (detectedRange’s |length|) as integer
　　　　
　　　　set aRange to current application’s NSMakeRange(aNum + bNum, cNum – (aNum + bNum))
　　end repeat
　　
　　return hitArray
end searchWordRanges

property NSString : a reference to current application’s NSString
property NSMutableArray : a reference to current application’s NSMutableArray
property NSLiteralSearch : a reference to current application’s NSLiteralSearch

set aStr to "ATGC ACGT ATGC AGTC
ATGC ACGT ATGC AGTC
ATGC ACGT ATGC AGTC
ATGC ACGT ATGC AGTC
"
set aRes to searchWordRanges(aStr, "ATGC") of me as list
–>　　{​​​​​{​​​​​​​location:0, ​​​​​​​length:4​​​​​}, ​​​​​{​​​​​​​location:10, ​​​​​​​length:4​​​​​}, ​​​​​{​​​​​​​location:20, ​​​​​​​length:4​​​​​}, ​​​​​{​​​​​​​location:30, ​​​​​​​length:4​​​​​}, ​​​​​{​​​​​​​location:40, ​​​​​​​length:4​​​​​}, ​​​​​{​​​​​​​location:50, ​​​​​​​length:4​​​​​}, ​​​​​{​​​​​​​location:60, ​​​​​​​length:4​​​​​}, ​​​​​{​​​​​​​location:70, ​​​​​​​length:4​​​​​}​​​}

set a to "あいうえお＋＋かきくけこ"
set b to cleanUpText(a, "＋", "●")
–> "あいうえお●●かきくけこ"

property NSArray : a reference to current application’s NSArray
property NSString : a reference to current application’s NSString
property NSStringTransformFullwidthToHalfwidth : a reference to current application’s NSStringTransformFullwidthToHalfwidth
property NSMutableArray : a reference to current application’s NSMutableArray

on run
　　set lineMax to 9
　　set aText to "テキスト縦書きを行うAppleScriptの「禁則処理」および任意改行への対応バージョンです。"
　　set sRes to makeTategakiStr(lineMax, aText) of me
end run

–縦行数を指定しつつ指定テキストを縦書き化
on makeTategakiStr(lineMax as integer, aText as string)
　　set curMax to 0
　　set sList to paragraphs of aText –途中で強制改行が入っているケースに対処
　　
　　set aList to {}
　　
　　repeat with i in sList
　　　　set outList to strToTategakiList(lineMax, i) of me
　　　　set the end of aList to outList
　　end repeat
　　
　　set aList to kinsokuList2(aList) of me
　　
　　set curLen to length of aList
　　set curMax to getMaxItemCountFrom2DArray(aList) of me
　　
　　set tmpList to {}
　　set twoDList to make2DBlankArray(curLen, curMax) of me
　　
　　set curY to 1
　　repeat with x from 1 to curMax
　　　　
　　　　set curX to 1
　　　　repeat with y from curLen to 1 by -1
　　　　　　set aCon to getItemByXY(x, y, aList, "　") of me
　　　　　　set twoDList to setItemByXY(curX, curY, twoDList, aCon as string) of me
　　　　　　set curX to curX + 1
　　　　end repeat
　　　　
　　　　set curY to curY + 1
　　end repeat
　　
　　—
　　set twoDList2 to checkBlankVerticalLine(twoDList, "　")
　　
　　
　　set aRes to list2dToStringByUsingDelimiters(twoDList2, "　", return) of me
　　set zRes to hanToZen(aRes) of me
　　
　　return zRes
end makeTategakiStr

–与えた文字列を縦書き2Dリストに変換
on strToTategakiList(lineMax as integer, aText as string)
　　set zText to hanToZen(aText) of me
　　
　　set outList to {}
　　set oneLine to {}
　　set aCount to 1
　　set curMax to 0
　　
　　repeat with i from 1 to (length of aText)
　　　　set aChar to character i of aText
　　　　
　　　　set aChar to retTateChar(aChar) of me
　　　　
　　　　set the end of oneLine to aChar
　　　　
　　　　set aCount to aCount + 1
　　　　if aCount > lineMax then
　　　　　　set aCount to 1
　　　　　　set the end of outList to oneLine
　　　　　　set oneLine to {}
　　　　end if
　　end repeat
　　
　　if oneLine is not equal to {} then
　　　　set the end of outList to oneLine
　　end if
　　
　　return outList
end strToTategakiList

–半角→全角変換
on hanToZen(aStr as string)
　　set aString to NSString’s stringWithString:aStr
　　return (aString’s stringByApplyingTransform:(NSStringTransformFullwidthToHalfwidth) |reverse|:true) as string
end hanToZen

–2D Listに配列の添字的なアクセスを行なってデータを取得
on getItemByXY(aX as integer, aY as integer, aList as list, aBlankItem) –1 based index
　　try
　　　　set aContents to contents of (item aX of item aY of aList)
　　on error
　　　　set aContents to aBlankItem
　　end try
　　return aContents
end getItemByXY

–2D Listに配列の添字的なアクセスを行なってデータを設定
on setItemByXY(aX as integer, aY as integer, tmpList as list, aContents) –1 based index
　　set (item aX of item aY of tmpList) to aContents
　　return tmpList
end setItemByXY

–空白の2D Array を出力する
on make2DBlankArray(curLen as integer, curMax as integer)
　　set outArray to {}
　　repeat curMax times
　　　　set tmpList to {}
　　　　repeat curLen times
　　　　　　set the end of tmpList to ""
　　　　end repeat
　　　　set the end of outArray to tmpList
　　end repeat
　　return outArray
end make2DBlankArray

–2D Listをアイテム間デリミタ、および行間デリミタを指定しつつテキスト化
on list2dToStringByUsingDelimiters(aList as list, itemDelimiter as string, lineDelimiter as string)
　　set outList to {}
　　repeat with i in aList
　　　　set aStr to listToStringUsingTextItemDelimiter(i, itemDelimiter) of me
　　　　set the end of outList to aStr
　　end repeat
　　
　　return listToStringUsingTextItemDelimiter(outList, lineDelimiter) of me
end list2dToStringByUsingDelimiters

–1D Listをアイテム間デリミタ、および行間デリミタを指定しつつテキスト化
on listToStringUsingTextItemDelimiter(sourceList as list, textItemDelimiter as string)
　　set anArray to NSArray’s arrayWithArray:sourceList
　　return (anArray’s componentsJoinedByString:textItemDelimiter) as string
end listToStringUsingTextItemDelimiter

–2D Listの各要素のアイテム数のうち最多のものを返す
on getMaxItemCountFrom2DArray(aList as list)
　　set anArray to NSArray’s arrayWithArray:aList
　　set bArray to (anArray’s valueForKeyPath:"@unionOfObjects.@count")
　　return (bArray’s valueForKeyPath:"@max.self") as integer
end getMaxItemCountFrom2DArray

–特殊文字の横書き用から縦書き用への置き換え
on retTateChar(aChar as string)
　　if aChar = "＜" then return "︿"
　　if aChar = "＞" then return "﹀"
　　—
　　if aChar = "《" then return "︽"
　　if aChar = "》" then return "︾"
　　—
　　if aChar = "「" then return "﹁"
　　if aChar = "」" then return "﹂"
　　—
　　if aChar = "『" then return "﹃"
　　if aChar = "』" then return "﹄"
　　—
　　if aChar = "【" then return "︻"
　　if aChar = "】" then return "︼"
　　—
　　if aChar = "［" then return "﹇"
　　if aChar = "］" then return "﹈"
　　—
　　if aChar = "｛" then return "︷"
　　if aChar = "｝" then return "︸"
　　—
　　if aChar = "(" then return "︵"
　　if aChar = ")" then return "︶"
　　—
　　if aChar = "、" then return "︑"
　　if aChar = "。" then return "︒"
　　if aChar = "ー" then return "︱"
　　if aChar = "～" then return "⌇"
　　if aChar = "＝" then return "‖"
　　—
　　if aChar = "１" then return "一"
　　if aChar = "２" then return "二"
　　if aChar = "３" then return "三"
　　if aChar = "４" then return "四"
　　if aChar = "５" then return "五"
　　if aChar = "６" then return "六"
　　if aChar = "７" then return "七"
　　if aChar = "８" then return "八"
　　if aChar = "９" then return "九"
　　if aChar = "０" then return "〇"
　　
　　return aChar
end retTateChar

–とりあえずな禁則処理（任意改行を考慮し、２D Listでデータを受け取る）
on kinsokuList2(toDList as list)
　　
　　set kinsokuCharList to {"︒", "︑", "﹁", "﹂", "﹃", "﹄", "︻", "︼", "﹇", "﹈", "︷", "︸", "︵", "︶", "︱", "⌇", "ァ", "ィ", "ゥ", "ェ", "ォ", "ョ", "ぁ", "ぃ", "ぅ", "ぇ", "ぉ", "ょ"}
　　set outList to {}
　　
　　repeat with ii in toDList
　　　　set aList to contents of ii
　　　　set aLen to length of aList
　　　　set startNum to 2
　　　　
　　　　repeat
　　　　　　set chgF to false
　　　　　　repeat with i from startNum to aLen
　　　　　　　　try
　　　　　　　　　　set aChar to contents of first item of item i of aList
　　　　　　　　on error
　　　　　　　　　　–ちょっと強引、、、
　　　　　　　　　　exit repeat
　　　　　　　　end try
　　　　　　　　
　　　　　　　　considering case and diacriticals –超重要!!
　　　　　　　　　　if aChar is in kinsokuCharList then
　　　　　　　　　　　　–行頭に禁則文字が入っていたら、前の行に追い出す
　　　　　　　　　　　　set the end of item (i – 1) of aList to aChar
　　　　　　　　　　　　set tmpList to contents of item i of aList
　　　　　　　　　　　　set item i of aList to removeItemInArray(tmpList, 1) of me
　　　　　　　　　　　　
　　　　　　　　　　　　–リフロー処理
　　　　　　　　　　　　–repeat with refI from (i + ((i < aLen) as integer)) to aLen
　　　　　　　　　　　　repeat with refI from (i + 1) to aLen
　　　　　　　　　　　　　　–現在行の先頭の文字を取得
　　　　　　　　　　　　　　set aaChar to first item of item refI of aList
　　　　　　　　　　　　　　–前行の末尾に追加
　　　　　　　　　　　　　　set the end of item (refI – 1) of aList to aaChar
　　　　　　　　　　　　　　–現在行の先頭の文字を削除
　　　　　　　　　　　　　　set tmpList to contents of item refI of aList
　　　　　　　　　　　　　　set item refI of aList to removeItemInArray(tmpList, 1) of me
　　　　　　　　　　　　end repeat
　　　　　　　　　　　　
　　　　　　　　　　　　if chgF = false then
　　　　　　　　　　　　　　set chgF to true
　　　　　　　　　　　　　　copy (i + ((aLen > i) as integer)) to startNum
　　　　　　　　　　　　end if
　　　　　　　　　　end if
　　　　　　　　end considering –超重要!!
　　　　　　　　
　　　　　　end repeat
　　　　　　if chgF = false then exit repeat
　　　　end repeat
　　　　
　　　　set outList to outList & aList
　　end repeat
　　
　　return outList
end kinsokuList2

on removeItemInArray(aList as list, anItemNo as integer)
　　set anArray to NSMutableArray’s arrayWithArray:aList
　　anArray’s removeObjectAtIndex:(anItemNo – 1)
　　return anArray as list
end removeItemInArray

on offsetOf(aList as list, aTarg)
　　set aArray to NSArray’s arrayWithArray:aList
　　set aIndex to aArray’s indexOfObjectIdenticalTo:aTarg
　　return ((aIndex as integer) + 1)
end offsetOf

–縦方向に空白行が存在していたら削除、末尾からスキャン
on checkBlankVerticalLine(aList as list, aBlankChar as string)
　　set tLen to length of (item 1 of aList)
　　copy aList to bList
　　set hitList to makeRepeatinglList(length of bList, true) of me
　　
　　set aCount to 1
　　repeat
　　　　–縦方向に１行分、すべて空白文字かどうかチェック
　　　　set workList to {}
　　　　repeat with ii in bList
　　　　　　set jj to contents of ii
　　　　　　set the end of workList to (item aCount of jj = aBlankChar)
　　　　end repeat
　　　　
　　　　–縦方向に１行空白だったら、１行分の削除を行う
　　　　if workList = hitList then
　　　　　　repeat with ii from 1 to length of bList
　　　　　　　　set jj to contents of item ii of bList
　　　　　　　　set item ii of bList to removeItemInArray(jj, 1) of me
　　　　　　end repeat
　　　　　　set tLen to tLen – 1
　　　　end if
　　　　set aCount to aCount + 1
　　　　if aCount > tLen then
　　　　　　exit repeat
　　　　end if
　　end repeat
　　
　　return bList
end checkBlankVerticalLine

–指定アイテムを指定個数連結したリストを作成
on makeRepeatinglList(hitNum as integer, hitItem)
　　set outList to {}
　　repeat hitNum times
　　　　set the end of outList to hitItem
　　end repeat
　　return outList
end makeRepeatinglList

set sourcePath to choose file
tell current application
　　set aStr to (read sourcePath as «class utf8»)
end tell

findPatternAndReturnRanges("^「.{3,90}」$", aStr, false) of me

set a to "3 0x4248387 1920×1200 0 0 -1920 -1200 0 [main]"

set aStr to (current application’s NSString’s stringWithString:a)
–> (NSString) "3 0x4248387 1920×1200 0 0 -1920 -1200 0 [main]"

set aLine to (aStr’s componentsSeparatedByString:" ")
–> (NSArray) {"3", "", "0x4248387", "", "", "", "", "1920×1200", "", "", "", "", "", "0", "", "", "", "", "0", "", "-1920", "", "-1200", "", "", "", "", "", "0", "", "", "", "[main]"}

(aLine’s removeObject:"")
–> (NSArray) {"3", "0x4248387", "1920×1200", "0", "0", "-1920", "-1200", "0", "[main]"}

set aParamStr to "access_token=XXxxx(XXxXXXXXxxXxxXXx))&expires=86399"
set aDict to (parseStrByAmpAndEqual(aParamStr) of me) as record
–>　　{​​​​​expires:"86399", ​​​​​access_token:"XXxxx(XXxXXXXXxxXxxXXx))"​​​}

set aParamStr to "access_token=XXxxx(XXxXXXXXxxXxxXXx))&expires=86399&name="
set aDict to (parseStrByAmpAndEqual(aParamStr) of me)
–>　　{expires:"86399", |name|:"", access_token:"XXxxx(XXxXXXXXxxXxxXXx))"}

set aStr to "thru （throughも可）"
set aRes to (trimStrFromTo(aStr, "（", "）") of me)
–>　　"thru "

set bStr to "thru "
set bRes to (trimStrFromTo(bStr, "（", "）") of me)
–>　　"thru "

on trimStrFromTo(aParamStr, fromStr, toStr)
　　set theScanner to current application’s NSScanner’s scannerWithString:aParamStr
　　set anArray to current application’s NSMutableArray’s array()
　　
　　repeat until (theScanner’s isAtEnd as boolean)
　　　　— terminate check, return the result (aDict) to caller
　　　　set {theResult, theKey} to theScanner’s scanUpToString:fromStr intoString:(reference)
　　　　
　　　　— skip over separator
　　　　theScanner’s scanString:fromStr intoString:(missing value)
　　　　set {theResult, theValue} to theScanner’s scanUpToString:toStr intoString:(reference)
　　　　if theValue is missing value then set theValue to "" –>追加
　　　　
　　　　— skip over separator
　　　　theScanner’s scanString:toStr intoString:(missing value)
　　　　
　　　　anArray’s addObject:theValue
　　end repeat
　　
　　if anArray’s |count|() = 0 then return aParamStr
　　
　　copy aParamStr to curStr
　　repeat with i in (anArray as list)
　　　　set curStr to repChar(curStr, fromStr & i & toStr, "") of me
　　end repeat
　　
　　return curStr
end trimStrFromTo