Paper Summary: The effect of wording on message propagation: Topic- and author-controlled natural experiments on Twitter
“The effect of wording on message propagation: Topic- and author-controlled natural experiments on Twitter”
- Content Summary
Motivation and Related Work:
그 동안의 연구들은 사람들이 텍스트를 전달할 때 텍스트의 형태가 어떻게 변화되는지 실험하기 위해 다른 source로부터 참조하는 실험들을 많이 진행하였고, content 기반이 아닌 주제와 작성자 통제하에 wording effect를 보는 연구는 없었기 때문에, 이에 대한 중요성을 알아보기 위해 본 논문의 연구가 진행되었다.
Contribution:
이 논문에서는 Twitter상에서 주제와 작성자의 통제 하에서 발생하는 메시지 전파의 효과적인 wording 방법에 대 해서 알아보고자 한다. 이 연구에서는 메시지가 무엇에 대한 건지 보다, 어떻게 메시지를 말을 하는 가에 대한 wording의 효과에 초점을 맞추고 이를 연구하기 위해, Twitter의 특징을 이용하였다. 이는 같은 user가 같은 URL에 대해 다른 Tweet을 포스팅하는 경우를 이용하여 연구를 진행하였다. 즉, 같은 작성자가 같은 URL에 대해 다른 내용의 Tweet을 포스팅하는데, 이를 이용하여 단어와 단어 대체재들에 대해 살펴보려 한다.
Support - Data:
실험에서 사용한 주된 데이터 세트들은 일정한 filtering 규칙들을 거쳐 11,404개의 쌍을 얻었고 두번째 크롤링 에서 1,770개의 쌍을 얻었다. 규칙에서 걸러지지 못한 데이터들은 후에 extra corpora와 같은 곳에 사용되었다. 이 데이터들 중에 follower 빈도수나 포스팅 시간에 관한 효과를 보완하기 위한 “이상적인” 쌍을 선택하였으며, 선택된 기준은 규칙에서 걸러지지 못한 데이터들을 토 대로 가장 효과가 낮은 parameter들을 선택함으로써 선정되었다. 이 쌍들 중 retweet의 빈도수가 충분히 다르고, tf-기반 cosine의 유사도가 높은 쌍들을 제거하였으며, 같은 저자에 따른 Tweet의 과도한 참조를 막기 위해 각 저자가 제공한 쌍의 수에 제한을 두었다. 또한, 사람들 이 wording의 차이에 따라, 두 개의 주제 및 작성자 통제하의 Tweet들 중 어떤 Tweet이 보다 범용적일지에 대해 AMT를 이용한 연구를 진 행했다. 100 TAC 쌍 샘플에 대해 독립 구성 요소로 볼 경우, 집합에 대한 정확도는 62.4%였고, 강제 종료했을 때의 587가지의 판단을 제외 할 시 63.8%로 증가했다. 다수의 판단으로 바라볼 시 73%로 증가하고, 판단의 80% 이상이 동의하면 90% 이상이 된다.
Support - Experiments:
Features: efficacy and author preference retweet의 빈도수에 직접적인 단어의 사용, 정보성이 높은 메시지, 커뮤니티 상에서의 언어, 헤드라인의 인용, retweet된 tweet 과 관련된 단어를 사용, 긍정/부정적인 단어를 포함, 다른 사람을 인용, 일반성을 띠는 단어의 사용, 가독성 후에 나타나는 tweet의 변화가 전에 작성된 tweet을 향상시키기 위한 것은 항상 의도된 것이 아니나, 특징의 효과와 저자의 선 호도 사이에 약간의 대조가 있다는 것은 흥미롭다.
Predicting the “better” wording: 처음에 이용했던 특징들을 전부 통합한 custom feature와 language model을 1,2-gram으로 선택하였을 때, heldout validation accuracy와 cross validation accuracy가 제일 높았다. 또한 TAC에서 학습된 unigram의 퍼포먼스가 TAC가 아닌 data보다 좋았으며, ‘rt’, ‘retweet’과 같은 높은 수준의 특징을 띠는 단어들도 확인할 수 있었다.
- Analysis
Writing:
먼저 대체적으로 이 논문은 가독성이 떨어지는 편에 속한다. 대체적으로 나열식 문장이 많으며 영어 문장 자체가 어 려운 수준의 영어 단어로 구성되어 있는 경우가 많아 논문을 읽는 데에 있어 상당히 많은 시간이 소모되었다. 특히, experiment의 첫 번째 section에서 결과 수준을 단순히 나열식으로 작성하였는데, 이 부분을 표나 그래프로 통합하는 것이 좋다고 생각했다. 왜냐하면 첫 번째 section에서 쓰여진 실험 결과 내용이 매우 쉬운 내용이기 때문에, 실험 결과 내용을 자세히 적지 않고 간략하게 정리하면 가독성이 좋을 것이다. 실험의 과정 자체도 매우 자세히 기술되어 있는데, 물론 기술적 양상에 대해서는 명확히 알고 갈 수 있으나 그 내용이 길어 논문을 읽는 데 시간을 증가시키는 요인이 되었다.
Motivation:
메시지를 전파시키는 요인을 밝혀내는 것은 사회적으로 상당히 중요한 이슈이다. 이 논문에서 저자가 언급했다시 피, 이는 정치적으로도 사용될 수도 있으며, 개인적으로도 다른 사람에게 자신의 주장을 어필하는 수사학에 있어 굉장히 중요한 부분이다. 물론 이 논문은 Twitter에 치중되어 있는 느낌이 있지만 사회적으로도 어떤 이슈 메시지가 빠르게 전파될 때 독자가 어떠한 메시지에 관심 있어 하는지, 어떠한 특징의 메시지를 전파해야 하는지는 매우 중요하다고 생각한다.
Contributions and Evaluation: 일단 이 논문에는 치명적인 단점이 하나 존재한다. 저자는 wording feature에 대해 일반적인 문 장에도 전부 다 적용 가능한 특성들을 알아보자고 하였다. 그래서 문장의 특징을 이용하기 위해, 저자를 동일하게 두고, 글을 포스팅하는 시간의 요인을 줄이기 위해 TAC pair라는 Twitter 내용을 사용하였다. 그래서 custom feature와 1,2-gram을 이용한 held-out dataset에 대하 여 약 65.6%의 괜찮은 결과를 도출했지만, TAC pair가 아닌 데이터에 대해서는 55.3%의 낮은 held-out 정확도를 보여주었다. 이는 저자가 처음에 말했던, 일반적으로 적용 가능한 wording의 효과와 Twitter에서의 wording 효과는 매우 다르게 보인다. 왜냐하면, 해당하는 커뮤니 티 상(Twitter)에서만 나타나는 언어적인 특이성이 반영된 데이터셋에서 실험이 진행됐기 때문이다. 따라서, 작성자와 작성 시간 통제하에 실험을 진행하기 위해서는 Twitter data가 아닌 다른 실험 방법을 요구한다고 생각한다. 물론 Twitter도 social network인 만큼 논문이 말하 는 결과가 무의미하지 않고, 수사학에 있어 유의미한 정보를 제공하지만, 말하고자 하는 일반성에 대해서는 의구심이 드는 아쉬움이 존재한 다. 하지만 wording 기법에 대해서 연구 수준을 paper 중 극한으로 끌어올렸다고 생각했는데, 데이터의 전처리 수준이 매우 좋았고, 작성자 와 작성 시간을 동일시에 놓기 위한 아이디어 부분이 매우 좋아 실험을 위한 데이터 전처리 기법에서 매우 많은 기여를 했다고 생각한다.
Future Works: 이 논문이 Twitter에 기반하여 작성된 논문이라면, 일반적인 메시지 전파의 wording 특성을 알아보기 위해서는 다른 매체를 이용하여 실험을 진행하여 feature를 통합하여 알아보는 연구도 좋을 것이라고 생각하였다. 예를 들어, facebook의 뉴스피드나, 뉴스 미디어의 기사들을 이용하여 작성자, 신문사에 따른 실험을 진행할 수 있으며, instagram의 해쉬태그를 이용하여 글뿐만 아니라 이미 지에서 나타나는 것에 대한 특성들에 따른 메시지의 영향력을 확인할 수 있는 연구도 가능할 것이라 생각한다.
- Content Summary
Motivation and Related Work:
그 동안의 연구들은 사람들이 텍스트를 전달할 때 텍스트의 형태가 어떻게 변화되는지 실험하기 위해 다른 source로부터 참조하는 실험들을 많이 진행하였고, content 기반이 아닌 주제와 작성자 통제하에 wording effect를 보는 연구는 없었기 때문에, 이에 대한 중요성을 알아보기 위해 본 논문의 연구가 진행되었다.
Contribution:
이 논문에서는 Twitter상에서 주제와 작성자의 통제 하에서 발생하는 메시지 전파의 효과적인 wording 방법에 대 해서 알아보고자 한다. 이 연구에서는 메시지가 무엇에 대한 건지 보다, 어떻게 메시지를 말을 하는 가에 대한 wording의 효과에 초점을 맞추고 이를 연구하기 위해, Twitter의 특징을 이용하였다. 이는 같은 user가 같은 URL에 대해 다른 Tweet을 포스팅하는 경우를 이용하여 연구를 진행하였다. 즉, 같은 작성자가 같은 URL에 대해 다른 내용의 Tweet을 포스팅하는데, 이를 이용하여 단어와 단어 대체재들에 대해 살펴보려 한다.
Support - Data:
실험에서 사용한 주된 데이터 세트들은 일정한 filtering 규칙들을 거쳐 11,404개의 쌍을 얻었고 두번째 크롤링 에서 1,770개의 쌍을 얻었다. 규칙에서 걸러지지 못한 데이터들은 후에 extra corpora와 같은 곳에 사용되었다. 이 데이터들 중에 follower 빈도수나 포스팅 시간에 관한 효과를 보완하기 위한 “이상적인” 쌍을 선택하였으며, 선택된 기준은 규칙에서 걸러지지 못한 데이터들을 토 대로 가장 효과가 낮은 parameter들을 선택함으로써 선정되었다. 이 쌍들 중 retweet의 빈도수가 충분히 다르고, tf-기반 cosine의 유사도가 높은 쌍들을 제거하였으며, 같은 저자에 따른 Tweet의 과도한 참조를 막기 위해 각 저자가 제공한 쌍의 수에 제한을 두었다. 또한, 사람들 이 wording의 차이에 따라, 두 개의 주제 및 작성자 통제하의 Tweet들 중 어떤 Tweet이 보다 범용적일지에 대해 AMT를 이용한 연구를 진 행했다. 100 TAC 쌍 샘플에 대해 독립 구성 요소로 볼 경우, 집합에 대한 정확도는 62.4%였고, 강제 종료했을 때의 587가지의 판단을 제외 할 시 63.8%로 증가했다. 다수의 판단으로 바라볼 시 73%로 증가하고, 판단의 80% 이상이 동의하면 90% 이상이 된다.
Support - Experiments:
Features: efficacy and author preference retweet의 빈도수에 직접적인 단어의 사용, 정보성이 높은 메시지, 커뮤니티 상에서의 언어, 헤드라인의 인용, retweet된 tweet 과 관련된 단어를 사용, 긍정/부정적인 단어를 포함, 다른 사람을 인용, 일반성을 띠는 단어의 사용, 가독성 후에 나타나는 tweet의 변화가 전에 작성된 tweet을 향상시키기 위한 것은 항상 의도된 것이 아니나, 특징의 효과와 저자의 선 호도 사이에 약간의 대조가 있다는 것은 흥미롭다.
Predicting the “better” wording: 처음에 이용했던 특징들을 전부 통합한 custom feature와 language model을 1,2-gram으로 선택하였을 때, heldout validation accuracy와 cross validation accuracy가 제일 높았다. 또한 TAC에서 학습된 unigram의 퍼포먼스가 TAC가 아닌 data보다 좋았으며, ‘rt’, ‘retweet’과 같은 높은 수준의 특징을 띠는 단어들도 확인할 수 있었다.
- Analysis
Writing:
먼저 대체적으로 이 논문은 가독성이 떨어지는 편에 속한다. 대체적으로 나열식 문장이 많으며 영어 문장 자체가 어 려운 수준의 영어 단어로 구성되어 있는 경우가 많아 논문을 읽는 데에 있어 상당히 많은 시간이 소모되었다. 특히, experiment의 첫 번째 section에서 결과 수준을 단순히 나열식으로 작성하였는데, 이 부분을 표나 그래프로 통합하는 것이 좋다고 생각했다. 왜냐하면 첫 번째 section에서 쓰여진 실험 결과 내용이 매우 쉬운 내용이기 때문에, 실험 결과 내용을 자세히 적지 않고 간략하게 정리하면 가독성이 좋을 것이다. 실험의 과정 자체도 매우 자세히 기술되어 있는데, 물론 기술적 양상에 대해서는 명확히 알고 갈 수 있으나 그 내용이 길어 논문을 읽는 데 시간을 증가시키는 요인이 되었다.
Motivation:
메시지를 전파시키는 요인을 밝혀내는 것은 사회적으로 상당히 중요한 이슈이다. 이 논문에서 저자가 언급했다시 피, 이는 정치적으로도 사용될 수도 있으며, 개인적으로도 다른 사람에게 자신의 주장을 어필하는 수사학에 있어 굉장히 중요한 부분이다. 물론 이 논문은 Twitter에 치중되어 있는 느낌이 있지만 사회적으로도 어떤 이슈 메시지가 빠르게 전파될 때 독자가 어떠한 메시지에 관심 있어 하는지, 어떠한 특징의 메시지를 전파해야 하는지는 매우 중요하다고 생각한다.
Contributions and Evaluation: 일단 이 논문에는 치명적인 단점이 하나 존재한다. 저자는 wording feature에 대해 일반적인 문 장에도 전부 다 적용 가능한 특성들을 알아보자고 하였다. 그래서 문장의 특징을 이용하기 위해, 저자를 동일하게 두고, 글을 포스팅하는 시간의 요인을 줄이기 위해 TAC pair라는 Twitter 내용을 사용하였다. 그래서 custom feature와 1,2-gram을 이용한 held-out dataset에 대하 여 약 65.6%의 괜찮은 결과를 도출했지만, TAC pair가 아닌 데이터에 대해서는 55.3%의 낮은 held-out 정확도를 보여주었다. 이는 저자가 처음에 말했던, 일반적으로 적용 가능한 wording의 효과와 Twitter에서의 wording 효과는 매우 다르게 보인다. 왜냐하면, 해당하는 커뮤니 티 상(Twitter)에서만 나타나는 언어적인 특이성이 반영된 데이터셋에서 실험이 진행됐기 때문이다. 따라서, 작성자와 작성 시간 통제하에 실험을 진행하기 위해서는 Twitter data가 아닌 다른 실험 방법을 요구한다고 생각한다. 물론 Twitter도 social network인 만큼 논문이 말하 는 결과가 무의미하지 않고, 수사학에 있어 유의미한 정보를 제공하지만, 말하고자 하는 일반성에 대해서는 의구심이 드는 아쉬움이 존재한 다. 하지만 wording 기법에 대해서 연구 수준을 paper 중 극한으로 끌어올렸다고 생각했는데, 데이터의 전처리 수준이 매우 좋았고, 작성자 와 작성 시간을 동일시에 놓기 위한 아이디어 부분이 매우 좋아 실험을 위한 데이터 전처리 기법에서 매우 많은 기여를 했다고 생각한다.
Future Works: 이 논문이 Twitter에 기반하여 작성된 논문이라면, 일반적인 메시지 전파의 wording 특성을 알아보기 위해서는 다른 매체를 이용하여 실험을 진행하여 feature를 통합하여 알아보는 연구도 좋을 것이라고 생각하였다. 예를 들어, facebook의 뉴스피드나, 뉴스 미디어의 기사들을 이용하여 작성자, 신문사에 따른 실험을 진행할 수 있으며, instagram의 해쉬태그를 이용하여 글뿐만 아니라 이미 지에서 나타나는 것에 대한 특성들에 따른 메시지의 영향력을 확인할 수 있는 연구도 가능할 것이라 생각한다.
댓글
댓글 쓰기